온디바이스 AI가 뭐야

AI 모델을 남의 서버가 아니라 내 기기 안에서 직접 돌리는 방식이다. 지금까지 대부분의 AI 서비스는 입력을 인터넷으로 보내 데이터센터의 GPU가 계산한 결과를 돌려받는 구조였다. 온디바이스는 그 왕복을 없앤다. 인터넷이 끊겨도 동작하고, 입력한 내용이 기기 밖으로 나가지 않으며, 호출당 요금이 없다.

왜 갑자기 되기 시작한 거야

모델이 작아져서가 아니라 표현 방식이 바뀌어서다. 300억 파라미터 모델은 전정밀도로 두면 메모리가 55GB 넘게 필요해 개인 기기에 들어가지 않는다. 파라미터 하나를 표현하는 비트 수를 16비트에서 4비트 수준으로 줄이면 필요한 메모리가 크게 내려간다. 이것이 양자화다. 여기에 큰 모델의 능력을 작은 모델에 옮기는 증류가 더해지면서, 같은 크기로 훨씬 잘하는 모델이 나왔다.

그럼 서버 모델은 필요 없어지나

아니다. 양자화는 공짜가 아니라 정밀도를 깎는 거래이고, 기기의 메모리 총량이라는 상한도 그대로 있다. 가장 어려운 추론과 가장 긴 맥락은 여전히 데이터센터 쪽이 유리하다. 실제로 굳어지는 그림은 양자택일이 아니라 분업이다 — 일상적이고 반복적인 작업은 기기에서, 어려운 판단은 서버로 넘기는 방식이다.

보안은 더 안전해지나

한 면은 좋아지고 다른 면은 나빠진다. 데이터가 기기를 떠나지 않으니 전송·저장 과정의 유출 위험은 줄어든다. 대신 프롬프트 주입 — 문서나 웹페이지에 숨긴 문장으로 AI에게 몰래 명령을 내리는 공격 — 을 막을 책임이 서비스 회사가 아니라 기기 쪽으로 넘어온다. 실제 공개 모델들의 주입 공격 성공률은 20~40%대로 보고되고 있어, 이 문제는 아직 해결되지 않았다.

온디바이스 AI란 — 인터넷 없이 도는 모델이 가능해진 이유

온디바이스 AI는 서버에 보내지 않고 기기 안에서 모델을 직접 돌리는 방식으로, 양자화·증류·추측 디코딩으로 필요한 메모리와 속도를 맞출 수 있게 되면서 30B급 모델까지 노트북에 들어오게 됐다

몇 년 동안 AI를 쓴다는 것은 곧 남의 컴퓨터를 빌린다는 뜻이었다. 질문을 입력하면 그 문장이 인터넷을 건너 데이터센터의 GPU에 도착하고, 계산된 답이 다시 돌아왔다. 인터넷이 끊기면 멈췄고, 쓸수록 요금이 붙었고, 보낸 내용은 내 손을 떠났다.

온디바이스 AI는 이 왕복을 없앤 방식이다. 2026년에 들어 30억이 아니라 300억 파라미터급 모델이 노트북 한 대에서 도는 사례가 나오면서, 이 방식은 실험이 아니라 선택지가 됐다.

이 문서는 무엇이 온디바이스이고, 무엇이 이것을 가능하게 했으며, 무엇이 여전히 서버의 몫인지를 정리한다.

1. 두 방식의 구조 차이

항목	서버(클라우드) 방식	온디바이스 방식
계산 위치	데이터센터 GPU	내 기기의 GPU·NPU
입력 데이터	네트워크로 전송됨	기기 밖으로 나가지 않음
인터넷	필수	불필요
비용	호출·토큰당 과금	전기·기기값 (한계비용 사실상 0)
성능 상한	사실상 무제한 (돈이 상한)	기기 메모리가 상한
지연	왕복 네트워크 시간 포함	네트워크 왕복 없음
보안 책임	서비스 제공자	사용자·기기

마지막 두 줄이 이 표의 핵심이다. 온디바이스는 네트워크 왕복이 없어 응답이 빠르게 시작되지만, 성능도 보안 책임도 기기 쪽에 갇힌다.

2. 무엇이 이것을 가능하게 했나

큰 모델을 작은 기기에 넣는 방법은 세 가지가 함께 쓰인다.

① 양자화(quantization) — 메모리 문제를 푼다 모델의 파라미터는 원래 숫자 하나당 16비트나 32비트로 저장된다. 300억 개면 전정밀도로 55GB가 넘어 개인 기기에 들어가지 않는다. 이 숫자들을 약 4비트로 줄이면 필요한 메모리가 4분의 1 이하로 내려간다. 대략적으로 말하면 소수점 아래를 과감히 잘라내는 일이고, 잘라낸 만큼 정밀도가 손해를 본다. 최근 기법들은 중요한 층은 정밀도를 유지하고 덜 중요한 층만 강하게 줄이는 식으로 손실을 줄인다.

② 증류(distillation) — 능력 문제를 푼다 큰 모델의 출력을 교사로 삼아 작은 모델을 학습시키는 방식이다. 같은 30B라도 처음부터 30B로 학습한 모델보다, 훨씬 큰 모델에서 증류한 30B가 잘하는 경우가 많다. 2026년에 나온 온디바이스용 모델 상당수가 상위 모델의 증류판인 이유다.

③ 추측 디코딩(speculative decoding) — 속도 문제를 푼다 메모리에 올라간다고 쓸 수 있는 게 아니다. AI가 글을 만들 때는 다음 단어를 하나씩 확정하는데, 이 과정이 느리면 실사용이 불가능하다. 추측 디코딩은 여러 토큰을 한꺼번에 예측한 뒤 틀린 부분만 되돌린다. 맞으면 몇 배 빨라지고 틀려도 정확도는 유지된다.

세 번째가 특히 중요해진 이유가 있다. 요즘 기기에서 돌리려는 것은 한 번 답하고 끝나는 챗봇이 아니라 에이전트다. 에이전트는 도구를 부르고 결과를 읽고 다시 판단하는 루프를 수십 번 돈다. 한 번의 응답이 느리면 루프 전체가 쓸 수 없어진다.

3. 무엇이 여전히 서버의 몫인가

온디바이스가 모든 것을 대체하지는 않는다. 세 가지 상한이 남는다.

메모리 총량. 양자화로 줄여도 기기의 물리적 메모리가 상한이다. 더 큰 모델을 원하면 결국 기기를 바꿔야 한다. 정밀도. 양자화는 거래다. 미세한 수치 판단이 필요한 작업, 긴 추론 사슬을 오래 유지해야 하는 작업에서는 손실이 드러난다. 맥락 길이. 긴 문서를 통째로 물고 있으려면 파라미터 외에 별도의 메모리가 크게 필요하다. 이 부분은 압축이 잘 듣지 않는다.

그래서 실제로 굳어지고 있는 형태는 양자택일이 아니라 분업이다. 일상적·반복적·민감한 작업은 기기에서 처리하고, 어려운 판단이나 긴 맥락이 필요할 때만 서버 모델을 부르는 구조다. 기기가 언제 서버를 부를지 스스로 판단하게 만드는 것이 다음 과제로 남아 있다.

4. 보안 — 좋아지는 면과 나빠지는 면

좋아지는 면은 명확하다. 입력이 기기를 떠나지 않으므로 전송 중 유출, 서비스 제공자의 로그 보관, 학습 데이터 재사용 같은 위험이 구조적으로 사라진다. 반출 자체가 금지된 데이터 — 사내 자료, 계약서, 의료 기록 — 에 AI를 붙일 수 있게 되는 것이 이 방식의 가장 큰 실용적 가치다.

나빠지는 면은 덜 알려져 있다. 프롬프트 주입 공격의 방어 책임이 기기 쪽으로 온다. 프롬프트 주입은 AI가 읽는 문서나 웹페이지 안에 명령문을 숨겨, 사용자가 시키지 않은 일을 하게 만드는 공격이다. 에이전트가 파일을 읽고 도구를 부를 권한을 가질수록 위험이 커진다.

공개된 벤치마크에서 최근 모델들의 주입 공격 성공률은 20~40%대로 보고된다. 이 수치가 뜻하는 바는 분명하다 — 아직 해결되지 않았다. 서버 모델일 때는 제공 회사가 필터와 모니터링으로 막던 부분을, 이제 개인 기기 환경에서 감당해야 한다.

5. 자주 나오는 질문

내 노트북에서 되나. 모델 크기와 메모리에 달렸다. 통합 메모리가 넉넉한 최신 맥이나 고성능 GPU를 단 PC라면 30B급 4비트 모델이 목표 범위에 들어온다. 그보다 아래 사양이면 7B~14B급이 현실적이다.

NPU가 있으면 더 좋나. NPU는 전력 대비 효율이 좋아 배터리로 오래 돌리는 데 유리하다. 다만 현재 대형 모델 구동의 주력은 여전히 GPU와 메모리 대역폭이다.

오픈웨이트와 온디바이스는 같은 말인가. 아니다. 오픈웨이트는 가중치가 공개됐다는 뜻이고, 온디바이스는 기기에서 돌린다는 뜻이다. 다만 기기에서 돌리려면 가중치를 받아야 하므로 실제로는 함께 가는 경우가 많다. 공개의 등급 구분은 「오픈소스 AI 모델이란」에 있다.

6. 남은 것 · 확인되지 않은 것

양자화에 따른 품질 손실 폭은 모델·과제·기법마다 크게 달라 일반화된 수치가 없다. 인용한 메모리 요구량(30B 전정밀도 55GB 이상, 4비트 압축 시 소비자 GPU 한 장)은 발표 자료 기준 설명이며, 벤치마크 점수가 압축 전 기준인지 후 기준인지는 모델마다 명시가 다르다. 프롬프트 주입 성공률 20~40%대는 특정 벤치마크 기준으로, 실제 환경의 위험도와 그대로 대응하지 않는다.

이 방식이 실제 제품으로 나온 사례는 오늘 함께 발행한 「메타가 300억 파라미터 모델을 노트북에 넣었다」에, 나라 단위로 AI 인프라를 갖추려는 흐름은 「소버린 AI란」에 정리돼 있다.