requests+pandas로 API 수집 파이프라인 구축, 응답 불일치 디버깅 경험
Python을 활용한 프로젝트 경험으로는 크게 두 가지가 있습니다. 하나는 오픈 API에서 데이터를 수집해 정제하는 파이프라인을 만든 것입니다. requests로 API를 호출하고, pandas로 정제한 뒤 SQLite에 적재하는 흐름이었습니다. 다른 하나는 분류 모델을 만들어 공개 데이터셋의 텍스트를 카테고리별로 나누는 작업이었습니다.
Python을 선택한 이유는 데이터 처리부터 ML까지 하나의 언어로 처리할 수 있고, 라이브러리 생태계가 풍부해서입니다. 문제 해결 측면에서 가장 어려웠던 것은 API 응답 형태가 문서와 다른 경우였습니다. 실제 응답을 직접 찍어보면서 파싱 코드를 맞춰야 했습니다. 한계는 대용량 데이터를 Python으로만 처리하면 느려서 Spark나 분산 처리 경험이 부족합니다.