기법 선택 결 → 탐색 결 → 발견 결 → 검증 결
데이터에서 패턴과 규칙을 발견할 때 저는 탐색적 데이터 분석(EDA)을 먼저 충분히 하는 것을 원칙으로 삼습니다. 기법 선택 자리에서는 복잡한 모델을 바로 쓰기보다 분포·이상치·상관관계를 먼저 시각화해서 데이터의 구조를 이해합니다. 탐색 자리에서는 히스토그램, 산점도, 상관 히트맵처럼 기본 시각화 도구가 가장 많은 것을 빠르게 보여줍니다. 고급 알고리즘보다 단순한 시각화에서 먼저 패턴이 눈에 들어오는 경우가 많습니다. 발견 자리에서는 클러스터링으로 비슷한 특성을 가진 그룹을 찾거나, 연관 분석으로 함께 나타나는 항목의 규칙을 발견하는 방식을 씁니다. 검증 자리에서는 발견한 패턴이 우연인지 실제 구조인지를 검증합니다. 학습 데이터에서만 나타나는 패턴은 새로운 데이터에서 반복되지 않을 수 있습니다.