궁금한게 많은 개발자 노트

Fluent Bit의 목표는 중앙(ElasticSearch)으로 로그를 모으고, 파싱하고, 필터링하고, 적재하는 것입니다. 이 과정에서 처리할 새로운 데이터를 받는데, 데이터를 빠르게 전송하지 못한다면 Back Pressure를 마주하게 됩니다. Fluent bit을 사용하는 특정 시나리오에서는 일부 Target으로 Flush하는 것보다 로그나 데이터가 더 빠르게 수집되거나 생성될 수 있습니다. 이러한 일반적인 시나리오 중 하나는 특히 큰 백로그가 있는 큰 로그 파일에서 읽고 응답하는 데 시간이 걸리는 네트워크를 통해 로그를 백엔드로 디스패치하는 경우입니다. 이로 인해 Back Pressure가 발생하여 서비스에서 메모리 소비가 높아집니다. Fluent Bit는 버퍼링으로 백프레셔와 일반적인 전송 실패 ..

Elasticsearch(ES)는 JAVA기반으로 실행되기 때문에 Heap 메모리를 얼마나 설정하느냐에 따라 성능에 큰 차이를 가지게 됩니다. 이에 따라 ES에서는 적절한 Heap size를 어떻게 판단하여 설정하는지에 대해 글을 작성해보고자 합니다. 너무 큰 Heap size는 GC(Garbage Collection)이 발생할 경우 성능에 부하를 줄 수 있고, 너무 작은 경우는 Out-of-Memory가 발생할 수 있습니다. ES에서 가이드하는 적절한 Heap Size는 어느 정도인지 알아보고자 합니다. https://www.elastic.co/guide/en/elasticsearch/reference/7.17/advanced-configuration.html Advanced configuration ..