이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
졸업 프로젝트에서 금융 데이터 기반 RAG 시스템을 처음 구축했습니다. 검색 품질이 데이터 소스에 크게 영향을 받아서, 공시 데이터와 뉴스 기사를 동시에 인덱싱하는 구조를 만들었습니다. 공시 데이터는 금감원 OpenAPI에서 정기적으로 수집했고, 표·각주·법적 문구를 제거해서 검색에 유용한 내용만 남기는 전처리를 했습니다. 뉴스는 날짜 편향이 생길 수 있어서, 쿼리와의 의미적 유사도만으로 순위를 매기는 방식을 채택했습니다. 금융 데이터는 동음이의어가 많아서(배당, 계좌, 상장 등), 쿼리 의도를 먼저 파악하는 전처리가 검색 품질에 직접 영향을 줬습니다. 데이터 소스마다 신뢰도가 달라서 출처를 메타데이터로 함께 저장하고, 답변에 근거 링크를 붙이는 구조를 만들었습니다.
RAG 시스템을 구축한 뒤 검색이 실제로 관련 문서를 잘 찾아오는지 측정해야 했습니다. Recall@K 지표를 적용했는데, 쿼리에 대한 정답 문서가 상위 K개 결과에 포함되는 비율을 측정하는 방식이었습니다. 처음에는 청킹 크기가 너무 커서 관련 없는 내용이 섞인 청크가 검색되는 경우가 많았습니다. 청킹 크기를 줄이고 겹침(overlap)을 추가했더니 Recall@5가 올랐습니다. 또한 출처 메타데이터를 검색 결과에 함께 반환해 환각(Hallucination) 방지를 위한 출처 인용 구조를 만들었습니다.
RAG에서 검색 품질은 생성 품질의 전제 조건이라는 것을 이 경험에서 배웠습니다. 평가 지표 없이는 개선이 됐는지 안 됐는지 알 수 없었습니다.
RAG 시스템을 테스트하다가 검색 결과에는 없는 내용이 LLM 답변에 포함되는 케이스를 발견했습니다. 공시 문서를 기반으로 답변을 생성하는 시스템이었는데, 모델이 학습 데이터에서 알고 있는 정보를 컨텍스트 없이 답변에 섞는 결이 있었습니다. 이 문제를 줄이기 위해 프롬프트에 주어진 문서에서만 답변하고 없으면 모른다고 답하라는 지시를 추가했습니다. 완벽하지는 않았지만 환각 발생 빈도가 줄었습니다. 또한 답변에 어떤 청크를 근거로 했는지 출처를 함께 표시하는 방식을 추가해, 사용자가 원본을 직접 확인할 수 있게 했습니다.
RAG는 검색 시스템과 생성 모델 두 가지를 함께 평가해야 완성되는 결이 있다는 것을 이 경험에서 배웠습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 넥스트증권 ML 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.