Elastic LogsDB : LogsDB를 통한 저장 공간 효율화
Elasticsearch 8.17버전부터 LogsDB Index모드가 신규 기능으로 추가되면서, Elastic은 로그 데이터 저장 공간을 최대한 65%까지 획기적으로 줄였습니다.
◼향상된 압축
- 로그와 같은 텍스트 데이터에 최적화된 알고리즘 사용
- ZSTD 압축 알고리즘과 Delta encoding (변화량만 저장) 을 자동으로 선택하여 적용
◼ 스마트 인덱스 정렬
- 디스크에 데이터를 기록할 때 무작위로 쌓는 것이 아니라, 검색에 유리하도록 미리 정렬하여 저장하는 방식
- @timestamp와 host,name 등을 기준으로 가깝게 배치하여 스토리지 효율성을 최대 30%까지 개선
- 압축 및 성능에 최적화된 열 형식으로 저장된 doc-value는 효율적인 저장 및 검색을 가능하게 함.
- 특정 host나 시간대 검색 시 쿼리 지연 시간이 감소
◼ ignore_* 옵션
- 기존에는 필드 타입이 맞지 않거나, 길이가 길면 로그 수집이 거부되었으나,
- LogsDB는 이를 최대한 수용하도록 기본 값이 변경
◼ Synthetic _source (Enterprise License 적용)
- 기존의 검색을 위한 index와 원본 데이터 _source 필드 중복 저장 방식이 아닌, _source를 저장하지 않는 방식
- 필요에 따라 색인된 데이터를 활용하여, 전체 또는 부분적으로 재구성하는 방식으로, 데이터의 중복 저장을 제거함으로써 스토리지 요구 사항을 줄임
- 고려사항
- 스토리지와 검색 성능은 좋아지지만, 강력한 압축과 정렬을 수행하기 때문에 데이터 수집 단계에서의 부하는 약간 증가할 수 있음
- CPU 사용량 증가 : CPU 사용량 증가 가능성 있음
- 인덱스 처리량 : 최대 20% 감소 가능성 있음
Searchable Snapshot 기능
Cold 및 Frozen tier에서 제공되는 Searchable snapshot을 통하여, 비용 및 성능 측면에서 장기 데이터에 대한 효율적인 검색 및 분석을 가능하게 합니다.
◼Object store에 장기 데이터를 아카이빙하는 Snapshot을 직접 검색 가능하도록 함.
◼ 검색 및 분석을 위한 Snapshot 데이터 Restore 과정이 자동화되어 있음.
◼ Frozen Tier는 검색하는 Snapshot 데이터의 5% 정도의 용량을 Disk로 할당함.
- Snapshot 100TB가 있는 경우, Disk Size는 5TB 할당 ( 64GB 데이터 노드 메모리 기준)
◼Cold Tier는 Searchable snapshot을 Replica로 사용함.
Machine Learning 기능
Elastic의 machine learning node를 통하여 Anomaly Detection Jobs 생성하여 Observability 및 Security에서 이상 징후 탐지 및 예측 기능을 제공하며, Trained Models 등록을 통하여 다양한 모델을 이용한 Text embedding 기능을 처리합니다.
AutoOps
AutoOps는 Elastic Cloud 형태로 제공되는 Elastic Cluster 모니터링 Tools로 수백 가지 지표를 분석하여 Elasticsearch 문제의 진단, 근본 원인 분석 및 정확한 해결 경로를 제공합니다.
댓글
댓글 0개
이 문서에는 댓글을 달 수 없습니다.