#양자화
양자화 관련 기사 4건을 모았습니다. 기사 12건이 모이면 이 주제의 검색에서 사이트 전체가 올라갑니다.
시간순 흐름
-
Edge0-145B 사양 — 1,450억 파라미터가 29GB? 내려받는 파일은 106GB
-
llama.cpp란 — Ollama·LM Studio 밑에서 도는 엔진
-
모델 양자화란 — 1.5TB짜리 AI 모델을 4비트로 줄여 서버 한 대에 올리는 법
-
온디바이스 AI란 — 인터넷 없이 도는 모델이 가능해진 이유
전체 기사
-
테크 · 16분Edge0-145B 사양 — 1,450억 파라미터가 29GB? 내려받는 파일은 106GB
산수 — 1,450억 개를 통째로 29GB에 넣으려면 파라미터당 1.6비트여야 한다. 실제 파일은 전문가 묶음 40GB에 임베딩 표 51GB, 합쳐 약 106GB다
-
테크 · 19분llama.cpp란 — Ollama·LM Studio 밑에서 도는 엔진
뜻 — GGUF 파일에 담긴 AI 모델을 CPU·GPU에서 실행하는 C/C++ 엔진. Ollama와 LM Studio가 이 위에서 돈다
-

-
