Spark 또는 Ray를 활용하여 분산 처리 작업을 수행한 경험이 있다면, 어떤 사례인지 말씀해 주세요.

Spark 성능 튜닝에서 파티션 외에 조인 방식이 얼마나 영향을 주는지 직접 비교하면서 배웠습니다. 텍스트 전처리 파이프라인에 기준 사전 데이터를 조인하는 단계가 있었는데, sort-merge join으로 돌리니 셔플이 크게 일어나면서 소요 시간이 예상의 두 배였습니다. 사전 데이터가 100MB 이하임을 확인하고 브로드캐스트 조인으로 바꾸자 해당 단계가 전체 파이프라인 시간의 30% 이하로 줄었습니다.

Spark UI에서 스테이지별 실행 시간을 보는 방법을 그때 익혔고, 어느 스테이지가 병목인지 숫자로 확인하기 전까지는 최적화 방향을 찾기 어렵다는 걸 실감했습니다. executor 메모리와 코어 수를 클러스터 자원에 맞게 조정하는 것도 그 과정에서 손에 익혔습니다. 튜닝은 감으로 하는 게 아니라 UI에서 병목을 확인하고 한 변수씩 바꾸는 결임을 그 경험이 알려줬습니다.