메타, 300억 파라미터 모델을 노트북에 — 서버 없이 도는 에이전트

지난주 이 지면은 오픈AI가 자사 모델을 스스로 멈춰 세운 일을 다뤘다. 가장 강한 모델을 어떻게 통제할 것인가라는 질문이었다. 8월 10일 메타는 반대쪽 질문에 답을 내놨다 — 가장 강한 모델 말고, 각자의 노트북에서 도는 모델은 어디까지 갈 수 있나.

메타가 공개한 뮤즈 글리머(Muse Glimmer)는 300억 파라미터 모델이다. 더 큰 뮤즈 스파크 1.2를 증류해 만들었고, 가중치는 아파치 2.0 라이선스로 풀렸다. 마크 저커버그는 초지능이 소수 기업이 아니라 모두에게 닿아야 한다는 취지로 이 공개를 설명했다.

1. 30B를 소비자 GPU에 넣는 방법

300억 파라미터 모델은 전정밀도로 두면 메모리가 55GB 넘게 필요하다. 개인 기기에는 들어가지 않는 크기다. 메타는 두 가지를 했다.

첫째, 약 4비트 수준으로 압축했다. 파라미터 하나를 표현하는 비트 수를 줄이면 메모리 요구량이 그만큼 내려간다. 둘째, 블록 단위 추측 디코딩(speculative decoding)을 붙였다. 다음 토큰을 하나씩 확정하는 대신 여러 개를 한꺼번에 예측하고 틀린 부분만 되돌리는 방식으로, 같은 하드웨어에서 응답 속도를 끌어올린다.

이 두 가지가 필요한 이유는 단순히 "돌아가게" 하기 위해서가 아니다. 에이전트는 한 번 답하고 끝나는 게 아니라 도구를 부르고 결과를 읽고 다시 판단하는 루프를 수십 번 돈다. 한 번의 응답이 느리면 루프 전체가 쓸 수 없게 된다. 에이전트 루프 안에 들어갈 만큼 빨라야 한다는 것이 이 설계의 실제 제약이었다.

2. 벤치마크 — 이기는 곳과 지는 곳

표에서 읽어야 할 것은 두 줄이다. 위쪽 네 줄은 이 모델이 여러 단계를 계획하고 도구를 부르는 일에서 동급 최고에 가깝다는 뜻이다. 반면 컴퓨터를 직접 조작하거나 터미널에서 작업하는 항목에서는 뒤진다고 메타 스스로 밝혔다.

아래 두 줄이 더 흥미롭다. 프롬프트 주입 — 문서나 웹페이지 안에 숨긴 문장으로 AI에게 몰래 명령을 내리는 공격 — 테스트에서 글리머의 공격 성공률은 28.4%다. Qwen(40.3%)보다는 낮고 Gemma(25.6%)보다는 높다. 대신 유용성 점수는 94.2로 셋 중 가장 높았다. 안전을 유용성으로 사지 않았다는 주장인데, 28.4%라는 숫자 자체는 여전히 네 번에 한 번 이상 뚫린다는 뜻이다.

3. 로컬로 오는 것은 성능만이 아니다

이 모델이 개인 기기에서 돈다는 사실은 세 가지를 바꾼다.

데이터: 문서를 정리시키려고 문서를 밖으로 보낼 필요가 없다. 사내 자료·계약서·의료 기록처럼 반출 자체가 문제인 데이터에 에이전트를 붙일 수 있게 된다. 비용: 호출당 과금이 사라진다. 항상 켜져 있는(always-on) 에이전트는 API 요금제와 구조적으로 맞지 않았는데, 그 제약이 없어진다. 책임: 여기서 방향이 뒤집힌다. 모델이 남의 서버에 있을 때 프롬프트 주입 방어는 그 회사의 일이었다. 내 노트북에서 돌면 내 문제가 된다. 28.4%라는 숫자가 실제로 의미를 갖는 지점이 여기다.

메타는 더 강한 뮤즈 스파크 버전을 이후 공개할 계획이라고 밝혔다. 가중치는 허깅페이스에 올라와 있고, AMD는 라이젠 AI 맥스와 라데온 GPU에서의 구동 가이드를 같은 날 냈다.

4. 남은 것 · 확인되지 않은 것

인용한 벤치마크는 모두 메타의 자체 측정치다. 독립 재현 결과는 아직 없고, 특히 비교군으로 쓰인 모델의 버전·설정이 공정했는지는 외부에서 검증되지 않았다. 4비트 압축에서 어느 정도의 품질 손실이 있었는지도 공개되지 않았다 — 벤치마크가 압축 후 기준인지 전정밀도 기준인지가 명시돼야 이 수치의 의미가 확정된다. 학습 데이터 구성과 원본 뮤즈 스파크 1.2의 규모도 비공개다.

'오픈소스'라는 표현에 대해서는 이 지면의 기준을 다시 적어 둔다. 공개된 것은 가중치이고, 학습 데이터와 코드는 아니다. 등급 구분은 「오픈소스 AI 모델이란 — 공개의 등급과 MoE 읽는 법」에, 기기에서 도는 AI의 구조는 오늘 함께 발행한 「온디바이스 AI란」에 있다. LG가 750B 모델을 공개한 사례는 「K-엑사원 2.0 오픈소스」에서 다뤘다.