VM(Virtual Machine) 기반의 아웃터 아키텍처(Outer Architecture)에서 실행되는 서비스의 로그를 수집하기 위한 설정 가이드

# RPM (RedHat/CentOS/Amazon Linux)
wget https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.88.0/otelcol-contrib_0.88.0_linux_amd64.rpm
sudo rpm -ivh otelcol-contrib_0.88.0_linux_amd64.rpm

# DEB (Ubuntu/Debian)
wget https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.88.0/otelcol-contrib_0.88.0_linux_amd64.deb
sudo dpkg -i otelcol-contrib_0.88.0_linux_amd64.deb

receivers:
  filelog:
    include:
      - /var/log/myapp/*.log  # 수집할 로그 파일 경로
    start_at: end             # 시작 시 파일 끝부터 수집 (기존 로그 중복 방지)
    include_file_name: true   # 파일명을 속성에 추가
    # 멀티라인 설정 (Java Stacktrace 등 처리 필요 시)
    multiline:
      line_start_pattern: '^\d{4}-\d{2}-\d{2}' # 날짜로 시작하는 라인을 로그의 시작으로 인식
    operators:
      # JSON 로그라면 파싱 (일반 텍스트라면 이 부분 제거 가능)
      - type: json_parser
        timestamp:
          parse_from: time
          layout: '%Y-%m-%dT%H:%M:%S.%LZ'

processors:
  # 배치 처리 (성능 최적화)
  batch:
    send_batch_size: 1000
    timeout: 10s

  # 리소스 정보 감지 (Hostname, OS 등)
  resourcedetection:
    detectors: [system]
    timeout: 2s
    override: false

  # 서비스 식별을 위한 태그 추가 (MSA에서 매우 중요)
  resource:
    attributes:
      - key: service.name
        value: "my-payment-service"  # 해당 VM에서 도는 서비스명
      - key: deployment.environment
        value: "production"
        action: insert

exporters:
  opensearch:
    http:
      endpoint: "https://opensearch.example.com:9200" # OpenSearch 주소
      # 인증 설정 (Basic Auth 예시)
      auth:
        authenticator: basic_auth
      # TLS 설정 (사설 인증서 사용 시 insecure: true 혹은 ca_file 지정)
      tls:
        insecure: false
        ca_file: /etc/otelcol-contrib/certs/ca.pem
    
    # 인덱스 이름 설정
    logs_index: "logs-application-%{yyyy.MM.dd}"
    
    # 대량 전송 설정
    retry_on_failure:
      enabled: true

extensions:
  # Basic Auth 확장을 정의
  basic_auth:
    client_auth:
      username: "admin"
      password: "admin_password"

service:
  extensions: [basic_auth]
  pipelines:
    logs:
      receivers: [filelog]
      processors: [resourcedetection, resource, batch]
      exporters: [opensearch]

# 설정 파일 유효성 검사 (선택 사항)
# (바이너리 직접 실행으로 에러 로그 확인 가능)
/usr/bin/otelcol-contrib --config=/etc/otelcol-contrib/config.yaml

# 서비스 재시작
sudo systemctl restart otelcol-contrib

# 상태 확인
sudo systemctl status otelcol-contrib

# OTel Collector 자체 로그 확인 (문제 발생 시 디버깅)
journalctl -u otelcol-contrib -f