Python 데이터 파이프라인 + Rust 파서 포팅 — 언어 선택 이유와 경험 비교
Python은 대용량 텍스트 데이터 파이프라인 프로젝트에서 가장 기억에 남습니다. 수백만 건의 텍스트를 처리하면서 pandas와 멀티프로세싱을 써봤는데, 처리 속도와 코드 가독성을 함께 잡을 수 있었습니다. Rust는 졸업 논문에서 C로 짜인 파서를 Rust로 포팅하는 실험을 했습니다. Rust를 선택한 이유는 메모리 안전성을 컴파일 타임에 보장하면서 C 수준의 성능을 낼 수 있다는 점이었습니다. 처음엔 borrow checker가 익숙하지 않아서 컴파일 에러와 씨름했지만, 소유권 모델이 메모리 버그를 원천 차단하는 방식을 이해하고 나서 설계가 달라졌습니다. 두 언어를 비교하면서 Python은 빠른 탐색에, Rust는 성능과 안전성이 동시에 필요한 곳에 쓰는 기준이 생겼습니다. 언어는 잘하고 못하고를 떠나 어떤 문제를 풀 때 쓰는지가 더 중요하다는 걸 배웠습니다.