보안 이벤트 수집 스트리밍 파이프라인 결
수천 대 엔드포인트에서 보안 이벤트를 수집하는 시스템 설계는 보안 아키텍처 스터디에서 케이스 스터디로 다뤄봤습니다. 이 규모에서는 이벤트가 초당 수만 건씩 발생할 수 있어, 중앙 저장소에 바로 쓰는 구조는 병목이 생기기 쉽습니다. 에이전트에서 수집한 이벤트를 먼저 메시지 큐에 넣고, 소비자가 배치로 처리해 저장하는 구조를 설계했습니다.
이벤트 필터링도 수집 단에서 적용하는 것이 유리한데, 모든 원시 로그를 중앙으로 올리면 저장 비용과 처리 부하가 급격히 늘어납니다. 에이전트 수준에서 심각도나 이벤트 유형으로 사전 필터링한 뒤 전송하는 방식을 제안했습니다. 실시간 탐지를 위한 스트리밍 파이프라인과 장기 보관을 위한 배치 파이프라인을 분리하는 구조가 유지보수에도 유리합니다. 보안 이벤트 시스템은 수집·처리·저장을 분리해 독립적으로 확장할 수 있는 것이 결임을 배웠습니다.