실제 NLP 프로젝트 경험을 어려움-해결-교훈 흐름으로 서술
검색어 자동완성 관련 프로젝트를 수업 팀 과제로 진행했는데, 가장 어려웠던 건 사전 데이터의 품질 불균형이었습니다. 빈번한 검색어는 데이터가 많아 성능이 좋은데, 긴 꼬리(long-tail) 쿼리는 학습 데이터가 부족해서 정확도가 낮았습니다. 해결 방법으로는 BM25 기반 n-gram 인덱싱과 편집 거리 알고리즘을 결합해 저빈도 쿼리에서도 후보를 제시하는 구조로 보완했습니다. 사용한 도구는 Python, ElasticSearch, KoNLPy였고, KoNLPy의 형태소 분석이 오타 처리에 적합하지 않다는 걸 초반에 놓쳐서 시간을 많이 썼습니다. 프로젝트에서 배운 점은 모델 성능은 데이터 분포를 먼저 파악해야 설계 방향이 잡힌다는 것이었습니다. 팀워크 면에서는 평가 지표를 두고 의견이 갈렸는데, Precision@5와 NDCG를 함께 보는 방향으로 합의했습니다.