AWS Lambda·S3·RDS 조합으로 서버리스 데이터 파이프라인 구축 경험결
클라우드 기반 개발 경험은 학교 프로젝트에서 AWS를 활용한 데이터 수집 파이프라인을 구축한 것입니다. 외부 API에서 데이터를 주기적으로 수집해서 저장하고, 분석 결과를 대시보드로 제공하는 구조였습니다.
사용한 서비스는 세 가지입니다. Lambda로 스케줄 기반 데이터 수집 함수를 실행하고, S3에 원본 데이터를 저장했습니다. 가공된 데이터는 RDS(PostgreSQL)에 적재해서 쿼리가 가능한 형태로 관리했습니다. 서버를 직접 운영하지 않아도 되는 서버리스 구조가 프로젝트 규모에 맞았습니다.
클라우드를 처음 쓰면서 어려웠던 부분은 IAM 권한 설정이었습니다. Lambda가 S3와 RDS에 접근하려면 각각 역할 권한을 정확히 부여해야 하는데, 처음에는 권한 설정 오류로 연결이 안 되는 상황이 반복됐습니다. 최소 권한 원칙으로 접근해서 필요한 권한만 단계적으로 추가하는 방식을 배운 것이 이 경험에서 얻은 가장 중요한 교훈입니다.