이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
구조화 데이터와 비구조화 데이터를 함께 처리할 때 단일 솔루션보다 목적에 맞게 나누는 방식이 더 효율적이라는 것을 배웠습니다. 정형화된 트랜잭션 데이터는 RDB나 데이터 웨어하우스에 저장하고, 로그, 이미지, 텍스트 같은 비정형 데이터는 데이터 레이크에 원본 그대로 저장하는 구조를 사용합니다. 나중에 분석 목적에 따라 필요한 데이터를 꺼내서 처리하는 방식입니다. 프로젝트에서 S3를 레이크로 사용하고 Redshift에 집계 데이터를 올리는 간단한 파이프라인을 구현해 보았는데, 레이어를 나눠두니 처리 목적별로 접근하기 편했습니다. 처리 전 원본을 보존하는 구조가 나중에 분석 방향이 바뀌어도 유연하게 대응할 수 있게 해줍니다. 원본을 지우면 재분석이 불가능합니다.
대용량 데이터 처리에서 단일 서버로 감당하기 어려운 규모는 분산 처리 프레임워크가 필요합니다. Spark는 대용량 배치 처리에 강하고, 메모리 기반 연산으로 속도가 빠르다는 걸 수업에서 배웠어요. 비구조화 데이터의 경우 전처리 단계에서 구조화가 먼저 이루어져야 분석 도구에 넣을 수 있거든요. 텍스트 로그를 Spark로 파싱해서 집계하는 간단한 실습을 해봤는데, 단일 노드에서는 불가능한 처리를 클러스터로 분산하면 시간이 크게 줄어드는 것을 확인했습니다. 솔루션 선택보다 어떤 데이터를 어떻게 처리할 것인지를 먼저 정의하는 게 중요해요.
도구보다 설계가 먼저예요. 설계가 맞으면 도구 선택이 자연스럽게 따라와요.
대규모 데이터를 처리할 때 직접 인프라를 관리하기보다 클라우드 관리형 서비스를 활용하는 방향이 효율적이에요. 구조화 데이터는 BigQuery나 Redshift 같은 관리형 웨어하우스로, 비구조화 데이터는 오브젝트 스토리지와 ETL 파이프라인을 조합해서 처리합니다.
인프라 운영 부담을 줄이면 데이터 활용 로직에 집중할 수 있어요. 학습 프로젝트에서 클라우드 서비스를 조합해서 간단한 파이프라인을 만들어봤는데, 설정만 잘 해두면 자동으로 처리가 이루어지는 구조가 운영 효율을 크게 높인다는 걸 느꼈습니다. 사람이 직접 개입하는 단계를 줄이는 자동화가 규모에 비례해서 더 중요해져요.
자동화 설계가 대용량 처리의 핵심이에요. 규모가 클수록 자동화가 더 중요해집니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 쿠팡 ML 인프라 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.