Spring Boot 로그 파일 남기기 (with Log4j2)

Spring Boot를 이용해 개발하면 @Slf4j 어노테이션을 이용해 로그을 남기고 Console에 찍히는 로그를 참고할 수 있다. 개발환경에서는 충분할 수 있지만 운영환경에서는 Console에 출력해보는 것에 그치지 않고 파일로 남길 필요가 있다. 

 

로깅이 필요한 이유에 대해서는 아래 포스팅이 잘 정리가 되어있으니 참고하길 바란다.

로깅을 System.out.println() 로 하면 안되는 이유

 

Slf4j vs Log4j

먼저 각각의 차이에 대해 살펴보기 위해서는 `Slf4j`와 `나머지`를 분리해서 볼 필요가 있다. Slf4j는 Sl4fj는 Simple Logging Facade for Java의 약자로 로깅을 위한 Java API이다. 당연하게도 별도의 구현체가 필요하고 Log4j와 Logback이 구현체의 역할을 한다. Spring Boot를 사용하면 spring-boot-starter-logging 내에 Slf4j와 Logback이 기본으로 포함된다.

라이브러리 선택 시 고려사항

로깅을 남기는 것은 필수적이므로 어떤 라이브러리를 사용하느냐가 굉장히 중요하다. 라이브러리 선택 기준은 `성능`과 `기능`의 관점에서 고려해볼 수 있을 것인데, 성능 관점을 중심으로 알아보자.

 

일정시간동안 출력되는 메세지의 총량인 `Throughput`과 메세지를 한번 출력하는 데에 걸리는 시간인 `Response Time`를 고려해야 한다. 이상적인 상황은 높은 Throughput, 낮은 Response Time을 오래 유지하는 것이다. 이는 그리 간단한 문제는 아니다.

 

비동기 로깅에서 Throughput과 Response Time을 결정짓는 가장 중요한 요소는 대기 작업을 저장하는 Queue라고 할 수 있다. Queue의 크기가 클수록 버퍼링을 통해 많은 로깅 이벤트를 한번에 처리할 수 있고 높은 Throughput을 유지할 수 있다. 하지만 Queue의 크기가 너무 크면 버퍼링도 오래 걸릴 것이고 Response Time도 함께 높아질 것이다. 뿐만 아니라 많은 메모리를 사용해야 한다는 문제도 있다.

 

여기에 대허 일반적으로 로깅 작업은 여러 스레드 간의 경합이 자주 발생한다고 한다. Race Condition을 어떻게 처리할 것인가도 중요한 부분이다. 

Log4j2를 사용하는 이유

- Logger: 로그 이벤트 생성기
- Appender: 로그 출력기

 

위는 Log4j, Log4j2, Logback의 Thread 수에 대한 로깅 처리량을 비교한 그래프이다. ArrayBlockingQueue를 사용하는 Async Appender를 사용한 성능은 크게 차이가 없지만, Log4j2에서 지원되는 Lock-free 구조를 사용하면 Thread 수에 비례해 Peak Throughput이 증가하는 것을 볼 수 있다.

Lock-free 구조란
CAS(Compare And Swap)과 같은 원자적 연산을 사용해 별도의 뮤텍스, 세마포어와 같은 Lock 메커니즘 없이도 다중 스레드 환경에서 안전한 자료구조를 의미한다. Lock이 없기 때문에 빠르며 교착상태를 피할 수 있다.

 

위 그래프는 초당 64,000개의 메시지를 4개의 스레드가 동시에 로깅하는 상황에 대한 그래프이다. 이러한 상황에서 가장 큰 응답시간 지연의 원인은 Minor GC인데, Log4j2에서 지원되는 Garbage-free Logger를 사용하면 응답시간 지연이 거의 발생하지 않는 것을 볼 수 있다.

Log4j2 사용 시 고려사항

물론 어떤 Appender를 쓰느냐, 어떤 Logger를 쓰느냐에 따라 성능적인 차이가 크게 나지 않거나 오히려 더 느린 경우도 존재한다. 특히 Async Logger를 사용하면 로깅 스레드와 작업 스레드와 분리되어 있기 때문에 로깅 작업 중에 발생한 예외는 소실될 수 있다.

 

따라서 Log4j2가 무조건 좋다는 믿음을 갖기 보다 올바른 설정 방법을 잘 알고 사용하는 것이 가장 중요하다. 

 

Log4j2 + Yaml 이용해 로그 파일 남기기

1. 의존성 설정

`build.gradle`

configurations {
    compileOnly {
        extendsFrom annotationProcessor
    }
    configureEach {
        exclude group: 'org.springframework.boot', module: 'spring-boot-starter-logging'
    }
}

dependencies {
    // Logging
    implementation 'org.springframework.boot:spring-boot-starter-log4j2'
    implementation 'com.fasterxml.jackson.dataformat:jackson-dataformat-yaml'
    implementation 'com.lmax:disruptor:3.4.4'
}

 

먼저 log4j 의존성을 추가하고 기존의 spring boot 로깅 모듈을 배제해줘야 한다. yaml을 사용하기 위해서는 dataformat 의존성이 추가로 필요하고, AsyncLogger를 사용하기 위해서는 disruptor 의존성이 추가로 필요하다.

 

버전 호환성 이슈

여기서 유의할 점은 disruptor와 log4j의 버전 호환성이다. 현재(2024.02.08) 기준으로 `log4j-core 3.0.0-beta`과 `disruptor 4.0.0`이 최신 버전이, `spring-boot-starter-log4j2`는 다음 버전의 log4j를 추가한다.

 

만약 `log4j-core:2.x`과 `disruptor 4.0.0`을 조합해 사용할 경우 다음과 같은 예외가 발생할 수 있다. `log4j-core:2.x`버전의 경우, `disruptor-3.x` 버전과 호환이 되는 것으로 보이므로 이 점 유의해서 설정하기 바란다.

Support for com.lmax:disruptor:4 · Issue #1829 · apache/logging-log4j2

(더 자세한 내용은 log4j2 깃허브 페이지에 등록된 이슈 참고)

 

2. 로깅 설정

 

`application.yml`

logging:
  config: classpath:log4j2/log4j2.yml

 

 

log4j2- Properties

Configutation:
  name: Anchor

  Properties:
    Property:
      - name: "log-path"
        value: "./logs"
      - name: "charset-UTF-8"
        value: "UTF-8"
      - name: "console-layout-pattern"
        value: "%style{%d}{White} %highlight{%-5level} [%style{%t}{bright,blue}-%c{1}] %style{%C}{bright,yellow}: %msg%n%throwable"
      - name: "file-layout-pattern"
        value: "%d %-5level [%t :: %c] %C: %msg%n%throwable"

 

Properties는 파일 내에서 사용되는 환경 변수로 재사용되는 값들에 대해 미리 정의해놓은 것이다. 눈 여겨볼 것은 layout-patter으로 각 문자가 의미하는 바는 다음과 같다.

- %d: 로그 발생 시간
- %c: 로그 발생 로거명
- %C: 로그 발생 클래스명
- %t: 로그 발생 스레드명
- %msg: 로그 메세지
- %throwable: 예외 로그 내용
- %style{pattern}{ANSI style}: ANSI를 이용한 스타일링

 

log4j2- Appenders

  Appenders:
    Console:
      - name: console-appender
        target: SYSTEM_OUT
        PatternLayout:
          pattern: ${console-layout-pattern}

    RollingFile:
      name: rolling-file-appender
      fileName: ${log-path}/rolling-file.log
      filePattern: "${log-path}/archive/rollingFile.log.%d{yyyy-MM-dd_hh:mm}_%i.gz"
      immediateFlush: "false"
      PatternLayout:
        charset: ${charset-UTF-8}
        pattern: ${file-layout-pattern}
      Policies:
        SizeBasedTriggeringPolicy:
          size: "1MB"
        TimeBasedTriggeringPolicy:
          interval: "1"
      DefaultRollOverStrategy:
        max: "10"
        fileIndex: "max"

 

출력할 대상을 지정하는 Appenders를 설정한 것이다. 먼저 Console은 작성한 레이아웃 패턴으로 System.out 방식을 통해 출력하는 것을 의미한다. (Target 옵션은 아래 사진을 참고.)

 

다음으로 RollingFile은 fileName으로 파일을 만들어 저장하고, 해당 파일이 200KB를 넘기거나 1일을 넘기면 filePattern으로 파일을 압축 저장하겠다는 것을 의미한다. 그리고 압축 파일은 최대 30개까지 유지되다가 30개가 넘어가면 삭제된다.

 

log4j2- Loggers

  Loggers:
    Root:
      level: INFO
      AppenderRef:
        - ref: console-appender

    Logger:
      - name: com.anchor
        additivity: "false"
        level: DEBUG
        AppenderRef:
          - ref: console-appender

    AsyncLogger:
      - name: p6spy
        level: INFO
        AppenderRef:
          - ref: rolling-file-appender

      - name: com
        level: INFO
        AppenderRef:
          - ref: rolling-file-appender

      - name: org
        level: INFO
        AppenderRef:
          - ref: rolling-file-appender

 

 

Root는 모든 로그에 대한 기본 설정이다. console-appender를 이용해 INFO 레벨 로그만 출력하는 것을 기본으로 지정했다. Logger는 Root와 별개로 동작하는 설정이다. com.anchor 패키지에서 발생시키는 로그는 예외적으로 DEBUG 레벨 로그를 출력하도록 Logger를 하나 더 할당했다.

 

AsyncLogger는 로깅을 비동기 방식으로 처리하는 설정이다. `p6spy`, `com.*`, `org.*`패키지에서 발생시키는 로그는 rolling-file-appender를 이용해 INFO 레벨 로그를 방식으로 출력하도록 지정했다.

 

참고 사항

✅ `name` 필드는 `%c (로그 발생 로거명)`와 매핑된다. ➡ 처음에는 로거명을 Console에 출력해보고 설정하는게 좋다.
✅ DEBUG 레벨의 로그는 생각보다 많은 용량을 차지한다. ➡ 정말 중요한 정보가 아니라면 불필요한 자원을 낭비할 수 있다.

3. 테스트 결과

 

---

 

Log4j – Log4j 2 Asynchronous Loggers for Low-Latency Logging - Apache Log4j 2

Log4j – Performance

Difference between AsyncLogger and AsyncAppender in Log4j2

[springboot] Spring Boot project 시작하기, log4j2 + yml

[Java] Spring Boot Log4j2 이해하기 -2 : 비동기 로깅(Asynchronous Loggers)