AWS Bedrock과 같은 플랫폼을 사용하여 작업한 경험이 있다면, 구체적으로 어떤 기능을 활용했는지 이야기해 주세요.

기존에 OpenAI API로 만든 텍스트 생성 서비스를 비용·보안 이유로 AWS Bedrock 기반으로 마이그레이션하는 작업을 처음 맡게 됐어요. API 구조가 비슷해 보여서 쉽겠다고 생각했는데, 프롬프트 포맷·응답 구조·오류 코드가 모델마다 달라 코드 한 줄만 바꾸면 되는 일이 아니었습니다.

모델을 바꾸는 게 아니라 모델과 맞닿은 인터페이스 전체를 재설계하는 일이라는 걸 그 작업에서 처음 알았어요. Bedrock의 InvokeModel API 응답을 파싱하는 레이어를 별도로 만들고, 모델별 응답 구조 차이를 추상화한 뒤에야 마이그레이션이 안정적으로 됐습니다.

지금은 LLM 마이그레이션 전에 인터페이스 차이 명세를 먼저 정리하고, 테스트 케이스로 응답 차이를 사전 파악하는 절차를 씁니다. 플랫폼보다 인터페이스가 마이그레이션의 실제 비용이라는 걸 그 경험에서 배웠어요.