A
약 120초
cron 크롤러로 이커머스 가격 변동 모니터링 구현
경쟁사 가격 모니터링을 직접 설계해본 경험은 없지만, 스터디에서 이커머스 플랫폼의 가격 변동 데이터를 수집하는 소규모 프로젝트를 해봤습니다. 신호 소스는 특정 카테고리 상품 목록 페이지를 주 2회 크롤링하는 방식이었습니다. 스케줄러는 cron으로 설정했고, 변동 내역은 SQLite에 날짜별로 적재했습니다. 주기·범위 설정에서 가장 고민한 것은 크롤링 빈도와 서버 부하 사이의 균형이었습니다. 너무 자주 호출하면 IP 차단 위험이 있고, 너무 드물면 가격 급락을 놓치는 문제가 있었습니다. 결과를 어떻게 전달할지도 중요했는데, 단순 숫자보다 이전 주 대비 변동률과 추세 그래프로 정리하니 팀원들이 훨씬 빠르게 파악했습니다. 한계는 대형 플랫폼은 크롤링 차단이 강해서 공개 API나 파트너십 없이는 안정적인 수집이 어렵다는 걸 느꼈습니다.
이 결의 특징
이커머스 플랫폼 가격 변동 데이터를 cron으로 주 2회 크롤링해 SQLite에 날짜별로 적재한 경험에서, 크롤링 빈도와 서버 부하 사이의 균형, IP 차단 위험과 가격 급락 놓침의 트레이드오프를 고민한 흔적이 있습니다. 단순 숫자보다 이전 주 대비 변동률과 추세 그래프로 정리하니 팀원들이 빠르게 파악했다는 결과와 대형 플랫폼 차단 한계까지 명시한 자리가 자주 보입니다.
이 결이 통하는 자리
크롤링 빈도 트레이드오프와 결과 전달 방식, 한계 명시까지 함께 설명될 때 통합니다. 시스템 설계와 전달 형식을 모두 고려한 자리가 살아 있는 곳에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.