경험 중심 1인칭 답변
최근 주목하는 기술은 벡터 데이터베이스와 RAG(검색 증강 생성) 조합입니다. LLM이 특정 도메인 지식에서 환각을 줄이는 방법으로 외부 지식을 실시간으로 검색해 주입하는 구조가 실용적으로 자리 잡고 있습니다. 직접 진행한 프로젝트는 사내 문서 QA 챗봇 프로토타입이었습니다. PDF 문서를 청크 단위로 나눠 임베딩 후 Chroma DB에 저장했고, 사용자 질문이 들어오면 유사도 검색으로 관련 청크를 가져와 LLM에게 컨텍스트로 전달하는 방식을 구현했습니다.
검색 품질이 청킹 전략에 따라 크게 달라진다는 걸 실험으로 확인했고, 단순 크기 기반 분할보다 문단 단위 분할이 검색 정확도에서 30% 이상 나았습니다. 이 기술이 기업 내부 지식 접근성을 바꿀 것이라 생각해 계속 추적하고 있습니다. 앞으로도 새 기술을 적용할 때 청킹 전략처럼 작은 설계 결정이 전체 품질을 결정한다는 것을 기억하겠습니다.
프로토타입에서 발견한 것이 프로덕션 설계의 기반이 됩니다. 기술 트렌드를 따르되 검증 없이 채택하지 않는 방식을 유지하겠습니다.