GCP 기반의 서비스 중 어떤 것을 사용해 보았고, 그 경험에서 배운 점은 무엇인가요?

BigQuery 분석 파이프라인만 다루다가 처음으로 Pub/Sub 이벤트를 Cloud Run으로 처리하는 서버리스 파이프라인을 설계하는 역할을 맡게 됐어요. 서버를 직접 관리하지 않는 방식이라 스케일링이 자동으로 되는 반면, 컨테이너 콜드 스타트 레이턴시와 메모리 제한이 예상치 못한 변수였습니다.

서버리스 아키텍처는 인프라 관리 부담을 줄이는 대신 실행 환경 제약(타임아웃, 메모리, 콜드 스타트)을 설계 단계에서 고려해야 하고, 그 제약을 모르면 운영에서 예상치 못한 실패가 생긴다는 걸 그 경험에서 배웠어요. 서버리스가 단순하다는 것은 인프라 복잡도를 제거하는 것이지, 분산 시스템의 복잡도를 제거하는 것이 아니다라는 걸 알았습니다.

지금은 서버리스 파이프라인 설계 시 실행 환경 제약 조건을 먼저 확인하고 그에 맞게 처리 단위와 타임아웃을 설계하는 방식을 씁니다. 제약 조건을 알고 설계하면 장점이 되고, 모르고 설계하면 장애가 된다는 원칙이 그 경험에서 나왔습니다.