BI 및 Application 개발에서 가장 도전적이었던 경험에 대해 이야기해 주세요.

BI 대시보드 중에서 실시간 데이터 반영이 필요한 과제를 맡았는데, 저는 배치 기반 쿼리만 해봤어요. 스트리밍 데이터를 어떻게 연결하는지 몰라서 데이터 엔지니어에게 먼저 설명을 요청했습니다. 내가 모르는 영역이라는 걸 빠르게 인정하는 게 첫 단계였어요.

데이터 엔지니어가 Kafka → ClickHouse로 이어지는 파이프라인을 설명해줬고, 저는 BI 레이어에서 어떻게 쿼리를 최적화할지 담당했어요. 역할 분담이 명확해지자 각자 전문 영역에서 더 좋은 결과를 냈습니다. 모르는 것은 협업으로 메우는 것이 더 빠르다는 걸 배웠어요.

이 경험으로 BI 개발에서 데이터 파이프라인 레이어의 제약을 이해하고 엔지니어와 역할 분담을 먼저 합의하는 것이 핵심이라는 원칙이 생겼어요. BI 도구는 데이터 파이프라인 위에 있고, 파이프라인 구조를 모르면 설계에 한계가 생긴다는 교훈입니다.