모델 양자화란 — 1.5TB짜리 AI 모델을 4비트로 줄여 서버 한 대에 올리는 법
Quantization stores an AI model's numbers with fewer bits, trading a little accuracy for much less memory and faster inference. Meta's 816-billion-parameter Muse Spark Open, released October 15, 2026, is about 1.5TB in 16-bit form but ships an NVFP4 4-bit build that Meta says runs on a single Nvidia B200 node. NVFP4 packs 16 values per block with a shared 8-bit scale.
모델 양자화는 AI 모델 안의 숫자를 더 적은 비트로 저장해 메모리와 계산량을 줄이는 기술이다. 16비트(BF16)로 약 1.5TB인 메타 '뮤즈 스파크 오픈'(8160억 파라미터)을 4비트로 줄이면 대략 4분의 1 크기가 돼 엔비디아 B200 서버 한 대에 올라간다. 대신 정밀도가 줄어 답의 품질이 조금 떨어질 수 있다
3줄 요약
- 원리 — 숫자 하나에 16비트 쓰던 것을 8비트·4비트로 줄여 저장
- 효과 — 4비트면 메모리 약 4분의 1, 같은 GPU로 더 큰 모델·더 빠른 응답
- 대가 — 정밀도 손실. 엔비디아 NVFP4는 16개씩 묶어 눈금을 따로 둬 손실을 줄인다
핵심 질문
- 양자화 뜻 AI
- **모델의 숫자를 더 적은 비트로 표현해 크기를 줄이는 것이다.** | 형식 | 숫자 하나 크기 | 8160억 모델 크기(가중치만, 계산) | |---|---|---| | FP32 | 4바이트 | 약 3.3TB | | BF16·FP16 | 2바이트 | 약 1.6TB | | FP8·INT8 | 1바이트 | 약 0.8TB | | 4비트(FP4·INT4) | 0.5바이트 | 약 0.4TB+눈금값 |
- NVFP4란
- **엔비디아 블랙웰 GPU용 4비트 부동소수점 형식이다.** | 항목 | 내용 | |---|---| | 값 하나 | 4비트(부호1·지수2·가수1) | | 묶음 | 16개 값마다 FP8 눈금값 1개 | | 전체 | 텐서마다 FP32 눈금값 1개 | | 크기 | FP16 대비 약 3.5배, FP8 대비 약 1.8배 작음(엔비디아) | | 하드웨어 | 블랙웰에서 기본 가속 |
- 양자화하면 성능 떨어지나
- **조금 떨어질 수 있고, 모델과 방식에 따라 차이가 크다.** | 경우 | 경향 | |---|---| | 큰 모델 + 8비트 | 손실 거의 체감 안 됨 | | 큰 모델 + 정교한 4비트 | 엔비디아는 1% 안팎 주장(자사 수치) | | 작은 모델 + 거친 4비트 | 수학·코딩에서 품질 하락이 눈에 띌 수 있음 |
AI 모델은 결국 거대한 숫자 묶음이다. 양자화는 그 숫자를 덜 정밀하게, 대신 훨씬 작게 적는 기술이다. 2026년 10월 15일 메타가 공개한 '뮤즈 스파크 오픈'은 파라미터가 8160억 개다. 숫자 하나에 2바이트(BF16)를 쓰면 약 1.5TB가 된다. 메타는 같은 모델을 4비트(NVFP4)로 줄인 버전을 함께 내며 엔비디아 B200 서버 한 대에서 돌아간다고 했다. 같은 모델이 양자화 하나로 '데이터센터 몇 대'에서 '서버 한 대'로 내려온 것이다.
비유하면 이렇다. 원주율을 3.14159265로 적던 것을 3.14로 적는다. 대부분의 계산에서 답은 거의 같고, 종이는 절반도 안 든다. 대신 아주 정밀한 계산에서는 차이가 드러난다.
1. 비트를 줄이면 얼마나 작아지나
| 형식 | 숫자 하나 | 8160억 파라미터 가중치(계산) | 주로 쓰는 곳 |
|---|---|---|---|
| FP32 | 32비트 = 4바이트 | 약 3.3TB | 예전 학습 기본값 |
| BF16·FP16 | 16비트 = 2바이트 | 약 1.6TB | 요즘 학습·배포 기본값 |
| FP8 | 8비트 = 1바이트 | 약 0.8TB | 엔비디아 호퍼·블랙웰 추론 |
| INT8 | 8비트 = 1바이트 | 약 0.8TB | 범용 추론 |
| NVFP4 | 4비트 + 눈금값(실효 약 4.5비트) | 약 0.46TB | 엔비디아 블랙웰 |
| INT4·GGUF 4비트 | 4비트 안팎 | 약 0.4~0.5TB | 개인 PC·맥(llama.cpp) |
가중치만 계산한 값이다. 실제로 모델을 돌리면 대화 문맥을 기억하는 KV 캐시가 따로 든다. 뮤즈 스파크 오픈을 문맥 100만 토큰 꽉 채워 BF16으로 돌리면 KV 캐시만 약 266GB다. 그래서 메타가 제시한 NVFP4 실행 조건도 '0.46TB'가 아니라 GPU 메모리 700GB 이상이다.
2. 4비트로 어떻게 정확도를 지키나 — NVFP4의 구조
4비트로는 숫자를 16가지밖에 표현하지 못한다. 그냥 줄이면 큰 값과 작은 값이 뭉개진다. 그래서 요즘 4비트 형식은 묶음마다 눈금(스케일)을 따로 둔다.
| 층위 | NVFP4 | MXFP4(업계 공용 규격) |
|---|---|---|
| 값 하나 | 4비트(E2M1: 부호 1·지수 2·가수 1) | 4비트(E2M1) |
| 묶음 크기 | 16개 | 32개 |
| 묶음 눈금 | FP8(E4M3) | 2의 거듭제곱(E8M0) |
| 전체 눈금 | 텐서마다 FP32 1개 | 없음 |
| 실효 비트 | 약 4.5비트 | 약 4.25비트 |
| 지원 | 엔비디아 블랙웰 기본 가속 | 여러 회사 공용 |
묶음이 작을수록 눈금이 더 촘촘해져 오차가 줄어든다. 엔비디아는 NVFP4가 FP16보다 약 3.5배, FP8보다 약 1.8배 작으면서 큰 모델에서는 정확도 손실이 1% 안팎이라고 주장한다(자사 벤치마크). 다만 FP8은 이전 세대 호퍼에서도 빠르게 돌지만, NVFP4를 하드웨어로 바로 계산하는 것은 블랙웰부터다. 형식이 반도체 세대를 고르는 셈이다.
3. 얻는 것과 잃는 것
| 얻는 것 | 잃는 것 |
|---|---|
| 메모리 2~4배 절약 | 정밀도 — 미세한 차이가 뭉개짐 |
| 같은 GPU로 더 큰 모델 | 수학·코딩·긴 추론에서 품질 하락 가능 |
| 메모리 대역폭 절약 → 응답 속도 향상 | 형식에 맞는 하드웨어 필요 |
| 전력·비용 절감 | 양자화 방식마다 결과 편차 |
어디에 쓰이는지도 나뉜다.
| 쓰임 | 흔한 선택 | 이유 |
|---|---|---|
| 대형 서비스 추론 | FP8·NVFP4 | GPU 한 대당 처리량 극대화 |
| 오픈 웨이트 모델 배포 | 원본 + 4비트 버전 동시 공개 | 받는 쪽 하드웨어가 제각각 |
| 개인 PC·맥 | GGUF 4~5비트 | 메모리 한계 |
| 스마트폰 온디바이스 | 4비트 이하 | 배터리·메모리 |
| 학습 | BF16·FP8 혼합 | 학습은 정밀도 손실에 더 민감 |
스마트폰 안에서 도는 AI가 가능해진 것도 양자화 덕이다(「온디바이스 AI란」). 반대로 AI 가속기 시장에서 메모리 용량이 곧 경쟁력이 된 이유도 여기서 나온다. 모델을 아무리 줄여도 결국 메모리에 다 올라가야 하기 때문이다(「HBM이란」).
4. FAQ와 확인되지 않은 것
| 질문 | 답 |
|---|---|
| 양자화하면 모델이 '멍청해지나' | 큰 모델일수록 손실이 작다. 작은 모델을 거칠게 4비트로 줄이면 차이가 체감된다 |
| 양자화한 모델을 다시 원래대로 | 불가능. 버린 정밀도는 돌아오지 않는다. 원본 가중치를 다시 받아야 한다 |
| 파라미터 수와 활성 파라미터는 | MoE 모델은 계산은 일부만 하지만 저장은 전부 해야 한다. 양자화는 '저장'을 줄인다 |
| 증류와 뭐가 다른가 | 증류는 작은 모델을 새로 학습시키는 것, 양자화는 같은 모델의 숫자 표현만 줄이는 것 |
| 내 맥에서 큰 모델을 돌리려면 | 메모리(통합 메모리) 용량 ≥ 4비트 가중치 크기 + 여유분 |
- 정확도 수치: 업체가 내는 손실률은 대부분 자사 벤치마크다. 실제 서비스 품질은 과제마다 다르다.
- 뮤즈 스파크 오픈 실행 구성: 메타가 말한 'B200 서버 한 대'의 GPU 수·메모리 여유는 확인하지 못했다. 모델 자체는 「메타 뮤즈 스파크 오픈 공개」에서 다뤘다.