예시 답변 1
약 90초
설계 원칙 구체화 + 실제 적용 경험으로 푸는 결
인퍼런스 인프라를 설계할 때 가장 먼저 생각하는 것은 지연 시간(latency) 요구사항과 처리량(throughput) 요구사항이 어느 비율로 중요한지입니다. 실시간 추천처럼 응답 속도가 핵심인 서비스와 배치 처리처럼 처리량이 핵심인 경우는 설계 방향이 다릅니다.
학부 졸업 프로젝트에서 텍스트 분류 모델을 Flask API로 감싸서 배포한 경험이 있는데, 처음엔 요청이 들어올 때마다 모델을 다시 로드하는 방식을 사용했습니다. 성능 측정을 해보니 응답 시간이 예상보다 훨씬 길었고, 모델을 서버 시작 시 한 번 로드해서 메모리에 유지하는 방식으로 바꾼 뒤 응답 시간이 크게 줄었습니다.
이 경험에서 배운 설계 원칙은 모델은 워밍업 상태를 유지해야 한다는 것입니다. 실무 수준에서는 여기에 추가로 요청 큐 관리, 모델 버전 관리, 롤백 전략까지 고려해야 한다는 걸 이후 공부하면서 알게 됐습니다.
이 결의 특징
요구 자체를 나열하지 않고 지연 시간과 처리량의 비중이라는 핵심 판단축을 먼저 세우는 결이다. 매 요청마다 모델을 로드하는 실수를 겪은 뒤 워밍업 유지 원칙으로 이어진다.
이 결이 통하는 자리
인프라 설계 원칙을 이상적으로 답하기 쉬운 질문에서, 실제 성능 저하를 겪은 경험으로 원칙을 뒷받침하는 답이 통하는 자리다.