마음대로 바꿀 수 없는 외부 API 제약 안에서 해결한 경험
인턴 때 5년 된 레거시 API에서 데이터를 가져와야 하는 작업을 맡았습니다. API가 페이지네이션을 지원하지 않아서 전체 데이터를 한 번에 내려받아야 했는데, 응답이 2MB를 넘으면 타임아웃이 발생했습니다. API를 고칠 수 없는 상황이었습니다. 데이터를 날짜 범위로 분할해서 여러 번 호출하는 방식으로 우회했습니다. 각 요청을 병렬로 처리하여 전체 시간도 줄였습니다. 처음에는 병렬 요청이 너무 많아서 API 서버에 부하가 걸렸습니다. 최대 동시 요청 수를 3개로 제한했습니다.
제약 안에서 해결책을 찾는 것이 제약을 없애는 것보다 현실적인 경우가 많다는 것을 배웠습니다. 경험을 통해 배웠습니다. 앞으로도 이 방향으로 성장하겠습니다.