예시 답변 1
약 95초
직관 → 동작 → 한계로 푼 결
Self-Attention을 한 줄로 잡으면, 문장의 각 단어가 다른 단어들을 얼마나 참고할지 스스로 가중치를 정하는 구조로 이해하고 있습니다.
각 토큰은 질의·키·값 세 표현을 만들고, 질의와 키의 유사도로 어느 토큰을 얼마나 볼지를 정한 뒤, 그 가중치로 값을 합칩니다. 그래서 멀리 떨어진 단어 사이의 관계도 한 번에 볼 수 있는 자리가 됩니다.
이게 왜 중요하냐면, 기존 순차 구조는 멀리 떨어진 관계를 다루기 어렵고 병렬화도 약했는데, Self-Attention은 그 한계를 푼다고 이해하고 있습니다.
다만 입력 길이가 길수록 연산이 제곱으로 늘어나는 비용이 있어, 긴 시퀀스에서는 그 자리가 과제로 남는다고 알고 있습니다.
이 결의 특징
*직관 → 동작 → 왜 필요 → 한계*의 흐름이 가장 안전합니다. 수식 나열이 아니라 *무엇을 푸는 구조인가*가 중심이라 이해가 드러납니다.
면접관이 다음에 할 행동
*"멀티헤드는 왜 쓰나요?"* 같은 추궁이 따라오는 경우가 많습니다. 한 단 더 풀 준비가 좋습니다.