자료구조 — 해시 테이블을 데이터 파이프라인에 적용
네 가지 중 자료구조를 선택하겠습니다. 그중에서도 해시 테이블이 데이터 엔지니어링 실무와 가장 직접적으로 연결된다고 생각합니다. 해시 테이블의 핵심은 키-값 쌍을 해시 함수로 인덱싱해 평균 O(1) 조회를 가능하게 하는 구조입니다. 해시 충돌 처리 방식으로 체이닝과 오픈 어드레싱이 있고, 각각 메모리와 성능 트레이드오프가 다릅니다. 데이터 엔지니어링 적용으로는 Spark의 Hash Join이 해시 테이블 원리를 분산 환경에 확장한 것이고, 파티셔닝 전략에서 해시 파티셔닝이 데이터를 균등 분산하는 데 핵심 역할을 합니다. 실제로 조회 성능 병목을 해결할 때 해시 기반 인덱스 설계를 가장 먼저 검토합니다. 자료구조는 알고리즘 선택의 기반이자 시스템 성능의 토대입니다.