엣지 AI·온디바이스 LLM 흐름과 인프라·보안 영향을 학부 경험과 묶은 답변
약 90초
트렌드(온디바이스 LLM) → 기술(NPU·Phi-3 등) → 인프라·보안 영향(비용·키관리) → 본인 의견·경험
최근 본인이 가장 주목하는 결은 '엣지 AI 추론 + 온디바이스 LLM(소형 언어 모델)' 흐름입니다. 클라우드 의존 결의 한계를 떼어내고 사용자의 단말 안에서 추론이 닫히는 결로 옮겨가는 자리입니다.
기술 쪽으로는, 대표 결로 Apple의 ANE(Apple Neural Engine)·Qualcomm Hexagon NPU·온디바이스 Llama 3 8B/Phi-3·구글 Gemini Nano 같은 자리가 있습니다. 같은 추론을 200ms 안에 단말에서 닫는 결이 만들어지고 있어, 클라우드 비용·네트워크 지연·개인정보 보호 결이 동시에 해결되는 자리입니다.
인프라·보안 영향 쪽으로는 두 가지가 크다고 봅니다. 첫째, '클라우드 GPU 비용 곡선이 흔들리는 결' — 본인이 인턴 때 본 결처럼 매월 LLM 추론 비용이 증가하는 자리가 일부 단말로 분산됩니다. 둘째, '개인정보 유출 사고 영역이 단말로 이동하는 결' — 보안 모델이 서버 중심에서 단말 키 관리·앱 격리 결로 바뀌어야 합니다.
본인 의견 쪽으로는, '2026년에는 분기마다 모바일 OS 한 번씩 온디바이스 모델 사이즈가 두 배로 커지는 결'이 자주 보일 것이라고 봅니다. 학부 캡스톤에서 본인이 모바일 디바이스에 1.3B 모델을 양자화로 올려본 경험이 있어, 그 결의 속도를 손으로 체감한 자리였습니다.
추가로, 본 회사 인프라에서도 '클라이언트 캐싱 + 엣지 추론 + 클라우드 백필'의 3계층 결을 같이 묶는 결이 유효하다고 생각합니다.