궁금한게 많은 개발자 노트

EFK(Elasticsearch + Fluent-bit + Kibana)를 EKS(Elastic Kubernetes Service)상에서 구축하여, 로그 모니터링 시스템 으로 사용하던 중 Kibana에서 index pattern생성 요청 시 아무런 에러 없이 생성된 것 처럼 보이지만 Index Pattern List에서는 확인할 수 없는 현상이 발생하였습니다. 찾아보니 비슷한 에러가 종종 발생하는 것처럼 보입니다. https://github.com/elastic/kibana/issues/87607 Created an Index Pattern in Kibana but it's not saved - but no error either · Issue #87607 · elastic/kibana Kibana ve..

Elasticsearch(ES)는 JAVA기반으로 실행되기 때문에 Heap 메모리를 얼마나 설정하느냐에 따라 성능에 큰 차이를 가지게 됩니다. 이에 따라 ES에서는 적절한 Heap size를 어떻게 판단하여 설정하는지에 대해 글을 작성해보고자 합니다. 너무 큰 Heap size는 GC(Garbage Collection)이 발생할 경우 성능에 부하를 줄 수 있고, 너무 작은 경우는 Out-of-Memory가 발생할 수 있습니다. ES에서 가이드하는 적절한 Heap Size는 어느 정도인지 알아보고자 합니다. https://www.elastic.co/guide/en/elasticsearch/reference/7.17/advanced-configuration.html Advanced configuration ..

Elasticsearch에 대해서는 한번 정리한 적이 있으며 RDBMS와의 차이점과 필요성에 대해 정리하였습니다. 다시 한번 Elasticsearch에 대해 간략히 알아보면 Elasticsearch는 Apache Lucene(아파치 루씬: 정보 검색 라이브러리) 기반 java 오픈 소스 분산 검색 엔진입니다. HTTP 웹 인터페이스와 스키마에서 자유로운 JSON 문서와 함께 분산 멀티테넌트(하나의 소프트웨어 인스턴스로 여러 사용자에게 서비스를 제공) 지원 전문 검색 엔진을 제공합니다. Elasticsearch의 구성 요소로는 크게 Cluster와 Node로 구분지을 수 있습니다. Cluster는 하나 이상의 노드의 집합으로 모든 노드를 포괄하는 통합 색인화 및 검색 기능을 제공합니다. (Elasticse..

RDBMS는 잘 알려져있듯 관계형 데이터베이스 관리 시스템을 의미합니다. 그렇다면 Elasticsearch는 무엇이고, 언제 사용하며 왜 RDBMS와 비교되는지 알아보고자 합니다. Elasticsearch는 Apache Lucene(아파치 루씬: 정보 검색 라이브러리) 기반 java 오픈 소스 분산 검색 엔진입니다. HTTP 웹 인터페이스와 스키마에서 자유로운 JSON 문서와 함께 분산 멀티테넌트(하나의 소프트웨어 인스턴스로 여러 사용자에게 서비스를 제공) 지원 전문 검색 엔진을 제공합니다. 데이터 저장소가 아니라 데이터 베이스를 대체할 수 없지만, 방대한 양의 데이터를 신속하고 거의 실시간으로 저장, 검색, 분석할 수 있는 엔진입니다. 데이터베이스에서도 데이터의 조회가 가능한데, 왜 검색 엔진이 필요할..

Elasticsearch를 위한 Pod생성 시 Statefulset을 구성할 때, 안정적인 동작을 위해서는 vm.max_map_count값을 변경해주어야 한다고 한다. 그 이유는 무엇이며 해당 값이 나타내는 의미가 무엇인지 궁금해서 찾아봤습니다. 리눅스 커널 공식 문서에 기술된 /proc/sys/vm 아래에 위치한 max_map_count파일에 대한 정보는 아래와 같습니다. ============================================================== max_map_count: This file contains the maximum number of memory map areas a process may have. Memory map areas are used as a ..