궁금한게 많은 개발자 노트

Fluent Bit의 목표는 중앙(ElasticSearch)으로 로그를 모으고, 파싱하고, 필터링하고, 적재하는 것입니다. 이 과정에서 처리할 새로운 데이터를 받는데, 데이터를 빠르게 전송하지 못한다면 Back Pressure를 마주하게 됩니다. Fluent bit을 사용하는 특정 시나리오에서는 일부 Target으로 Flush하는 것보다 로그나 데이터가 더 빠르게 수집되거나 생성될 수 있습니다. 이러한 일반적인 시나리오 중 하나는 특히 큰 백로그가 있는 큰 로그 파일에서 읽고 응답하는 데 시간이 걸리는 네트워크를 통해 로그를 백엔드로 디스패치하는 경우입니다. 이로 인해 Back Pressure가 발생하여 서비스에서 메모리 소비가 높아집니다. Fluent Bit는 버퍼링으로 백프레셔와 일반적인 전송 실패 ..