본문으로 건너뛰기
TEN Brief 하루 열 건, 확인된 것만 2026.11.16 EN

This article is also available in English →

테크 · 19분 · 에버그린

llama.cpp란 — Ollama·LM Studio 밑에서 도는 엔진

llama.cpp is an open-source C/C++ engine that runs AI language models on ordinary PCs, phones and servers. It loads models stored as GGUF files, usually quantized to about 4 to 5 bits per weight, so an 8-billion-parameter model fits in about 4.9 GB. Ollama and LM Studio both run models on it. Version 1.0.0, tagged on November 13, 2026, removed 35 deprecated functions and promised that breaking changes to the public C API will come only with a major version bump.

llama.cpp는 AI 언어 모델을 내 컴퓨터에서 직접 돌리게 해 주는 오픈소스 추론 엔진이다. 2023년 3월 게오르기 게르가노프가 C/C++로 만들기 시작했고, GGUF라는 파일 하나에 담긴 모델을 CPU나 GPU에 올려 실행한다. 가중치를 4~5비트로 줄인 양자화 파일을 쓰기 때문에 80억 파라미터 모델이 약 4.9GB면 올라간다. Ollama와 LM Studio도 이 엔진 위에서 모델을 돌린다. 2026년 11월 13일 나온 1.0.0은 폐기 함수 35개를 지우고, 공개 C API가 깨질 때만 메이저 버전을 올리겠다고 약속한 첫 버전이다. 여러 사람이 동시에 쓰는 서버에는 vLLM 같은 다른 엔진이 더 맞는다

아침 햇살이 드는 창가 책상에서 뒷모습의 사람이 노트북을 쓰고 있고 옆에 그래픽카드가 보이는 소형 데스크톱이 놓인 모습

3줄 요약

  • 뜻 — GGUF 파일에 담긴 AI 모델을 CPU·GPU에서 실행하는 C/C++ 엔진. Ollama와 LM Studio가 이 위에서 돈다
  • 크기 — Q4_K_M 기준 80억 파라미터 모델은 약 4.9GB, 700억은 약 43GB. 파라미터 수에 0.61을 곱하면 GB가 나온다
  • 1.0.0 — 2026년 11월 13일 태그. 폐기 함수 35개 제거, 공개 C API가 깨지면 메이저 버전을 올린다는 약속

핵심 질문

llama.cpp란
**AI 언어 모델을 내 컴퓨터에서 실행하는 오픈소스 C/C++ 추론 엔진이다. 모델을 만들거나 학습시키는 도구가 아니라, 이미 만들어진 모델 파일을 읽어 답을 생성하는 프로그램이다.** | 항목 | 내용 | |---|---| | 만든 사람 | 게오르기 게르가노프, 2023년 3월 10일 저장소 공개 | | 언어·라이선스 | C/C++, MIT | | 읽는 파일 | GGUF (모델 가중치와 설정이 한 파일에) | | 도는 곳 | CPU, 엔비디아·AMD·인텔 GPU, 애플 실리콘, 스냅드래곤 등 | | 쓰는 방법 | 터미널 대화(`llama cli`), 로컬 API 서버(`llama serve`), C 라이브러리 | | 최신 정식 버전 | 1.0.0 (2026년 11월 13일) |
llama.cpp ollama 차이
**llama.cpp는 엔진이고 Ollama는 그 엔진을 싣고 모델 내려받기와 관리를 대신해 주는 프로그램이다. Ollama는 llama.cpp와 애플의 MLX 두 엔진을 함께 쓴다.** | 도구 | 성격 | llama.cpp와의 관계 | |---|---|---| | llama.cpp | 추론 엔진과 기본 도구 | 본체 | | Ollama | 모델 관리와 실행을 묶은 프로그램 | llama.cpp를 내장. 애플 실리콘에서는 MLX가 기본 | | LM Studio | 화면이 있는 데스크톱 앱 | llama.cpp로 GGUF 실행. 애플 실리콘에서는 MLX도 지원 | | vLLM | 다수 동시 요청용 서버 엔진 | 별개 프로젝트 | | MLX | 애플 실리콘용 머신러닝 프레임워크 | 별개 프로젝트 |
GGUF란
**llama.cpp가 읽는 모델 파일 형식이다. 가중치, 토크나이저, 설정값이 파일 하나에 들어 있고, 파일명 끝의 Q4_K_M 같은 표기가 가중치를 몇 비트로 줄였는지 알려 준다.** | 표기 | 가중치당 비트 | 80억 파라미터 모델 크기 | 16비트 대비 | |---|---|---|---| | F16 | 16.00 | 14.96GiB | 100% | | Q8_0 | 8.50 | 7.95GiB | 53% | | Q6_K | 6.56 | 6.14GiB | 41% | | Q5_K_M | 5.70 | 5.33GiB | 36% | | Q4_K_M | 4.89 | 4.58GiB | 31% | | Q3_K_M | 4.00 | 3.74GiB | 25% |

llama.cpp는 AI 언어 모델을 내 컴퓨터에서 직접 실행하게 해 주는 오픈소스 추론 엔진이다. 챗봇 서비스에 접속하는 대신 모델 파일을 내려받아 노트북이나 데스크톱에서 돌리는 사람이 쓰는 프로그램의 대부분은 이 엔진을 직접 쓰거나, 이 엔진을 속에 품고 있다. Ollama와 LM Studio가 그렇다.

이 프로젝트는 2026년 11월 13일 10시 20분(협정 세계시, 한국 시각 같은 날 19시 20분) 1.0.0 태그를 달았다. 2023년 3월 10일 저장소가 열린 뒤 3년 8개월 만이다. 숫자 하나가 바뀐 것처럼 보이지만 내용은 약속이다. 공개 C API를 깨는 변경은 메이저 버전을 올릴 때만 한다는 것이다. 이 글은 llama.cpp가 무엇이고, 모델 파일명에 붙은 Q4_K_M 같은 표기를 어떻게 읽는지, 내 컴퓨터에서 어느 크기까지 돌릴 수 있는지, Ollama·LM Studio·vLLM·MLX와는 어떤 관계인지를 정리한다.

1. llama.cpp는 무엇이고 왜 생겼나

AI 언어 모델을 쓰는 일은 두 단계로 나뉜다. 모델을 만드는 학습과, 만들어진 모델에 질문을 넣어 답을 받는 추론이다. llama.cpp는 추론만 한다. 수십억 개의 숫자(가중치)가 담긴 모델 파일을 메모리에 올리고, 입력된 글 다음에 올 토큰을 하나씩 계산해 내놓는다.

2023년 초까지 이런 계산은 파이썬과 파이토치, 그리고 엔비디아 GPU가 있어야 하는 일이었다. 개발자 게오르기 게르가노프는 2022년 9월 말 ggml이라는 텐서 계산 라이브러리를 만들기 시작했고, 이를 써서 오픈AI의 음성 인식 모델을 옮긴 whisper.cpp를 먼저 내놓았다. llama.cpp는 그다음이다. 위키백과에 따르면 메타의 라마(Llama) 모델 추론을 외부 의존성 없는 C/C++로, GPU가 없는 컴퓨터에서도 돌도록 다시 짠 것이 출발이었다. 이름의 llama는 그 모델에서, .cpp는 C++ 소스 파일 확장자에서 왔다. 지금은 라마 계열이 아닌 모델이 대부분이지만 이름은 그대로 남았다.

시점일어난 일출처
2022년 9월 말게르가노프가 ggml 라이브러리 개발 시작위키백과
2023년 3월 10일llama.cpp 저장소 공개깃허브 저장소 생성일
2023년 8월모델 파일 형식 GGUF 도입위키백과, GGUF 명세
2025년 4월 10일이미지·음성 입력을 한 API로 다루는 libmtmd 도입위키백과
2026년 2월 20일개발팀 ggml.ai가 허깅페이스에 합류위키백과
2026년 8월 7일시맨틱 버저닝 방침을 깃허브 토론으로 공개, 이후 0.1.x 태그 시작ggml 토론 #1579
2026년 11월 4일0.9.0깃허브 릴리스
2026년 11월 13일1.0.0, ggml도 같은 날 1.0.0깃허브 릴리스

이 엔진이 퍼진 이유는 세 가지로 요약된다. 첫째, 설치할 것이 거의 없다. 프로젝트 README는 첫 특징으로 의존성 없는 순수 C/C++ 구현을 든다. 둘째, 도는 하드웨어가 넓다. v1.0.0 README의 백엔드 표에는 엔비디아 GPU(CUDA), AMD GPU(HIP), 애플 실리콘(Metal), 인텔 GPU(SYCL), 스냅드래곤(Hexagon), 범용 GPU(Vulkan), WebGPU 등 17개 항목이 올라 있다. 셋째, 작게 줄인 모델을 쓴다. 가중치를 1.5비트에서 8비트까지의 정수로 줄이는 양자화를 지원하고, GPU 메모리에 다 올라가지 않는 모델은 일부만 GPU에 올리고 나머지는 CPU로 계산한다.

2026년 11월 16일 확인한 깃허브 저장소의 별 수는 13만 5193개이고 라이선스는 MIT다. 프로젝트 팀은 1.0.0 발표 글에서 150개가 넘는 모델 아키텍처 변형을 지원한다고 적었다.

2. GGUF 파일과 Q4_K_M 읽기

llama.cpp가 읽는 모델 파일은 GGUF 형식이다. 명세에 따르면 이 형식은 이전의 GGML·GGMF·GGJT 형식을 잇는 것으로, 세 가지를 목표로 설계됐다. 추가 파일 없이 파일 하나로 배포할 수 있을 것, 기존 모델을 깨지 않고 정보를 덧붙일 수 있을 것, 운영체제의 mmap으로 빠르게 불러올 수 있을 것이다. 가중치뿐 아니라 토크나이저 어휘, 문맥 길이, 대화 템플릿 같은 설정이 파일 안에 함께 들어 있어서, 파일 하나만 받으면 실행에 필요한 것이 모두 갖춰진다.

모델 공유 사이트에서 GGUF 파일을 찾으면 이름이 길다. 명세가 정한 규칙은 다음과 같고, 각 부분은 하이픈으로 잇는다.

자리뜻예
접두사(선택)본체가 아니라 함께 불러오는 보조 파일임을 표시mmproj(이미지·음성 입력용), mtp(추측 디코딩용)
기본 이름모델 계열Hermes-2-Pro-Llama-3
크기파라미터 수. B는 10억, M은 100만8B, 8x7B(전문가 8개짜리 MoE)
미세조정용도instruct, chat
버전모델 버전v1.0
인코딩가중치를 어떻게 줄였나Q4_K_M, F16
분할여러 파일로 나뉜 경우의 순번00003-of-00009

명세가 예로 든 Hermes-2-Pro-Llama-3-8B-v1.0-F16.gguf는 헤르메스 2 프로 라마 3 계열, 80억 파라미터, 버전 1.0, 16비트 부동소수점 그대로라는 뜻이다.

가장 자주 헷갈리는 것이 인코딩 자리다. Q4_K_M을 풀면 이렇다. Q는 양자화했다는 뜻, 4는 가중치 하나에 쓰는 비트 수의 기준값, K는 k-퀀트라고 부르는 방식, M은 같은 비트 수 안에서의 등급(S 작음, M 중간, L 큼)이다. k-퀀트는 모델의 모든 층을 똑같이 줄이지 않고 중요한 층에는 비트를 더 주는 혼합 방식이어서, 실제 평균 비트 수는 4가 아니라 4.89다. 원리는 「모델 양자화란」에서 다뤘다.

표기읽는 법가중치당 비트크기 (라마 3.1 8B)16비트 대비
F1616비트 부동소수점, 줄이지 않음16.0014.96GiB100%
Q8_08비트, 구형 단순 방식8.507.95GiB53%
Q6_K6비트 k-퀀트6.566.14GiB41%
Q5_K_M5비트 k-퀀트, 중간5.705.33GiB36%
Q4_K_M4비트 k-퀀트, 중간4.894.58GiB31%
Q4_K_S4비트 k-퀀트, 작음4.674.36GiB29%
Q3_K_M3비트 k-퀀트, 중간4.003.74GiB25%
IQ2_M2비트 i-퀀트, 중간2.932.74GiB18%

수치는 llama.cpp 저장소의 양자화 도구 문서가 메타 라마 3.1 8B 모델로 잰 값이다. IQ로 시작하는 i-퀀트는 중요도 행렬(imatrix)을 써서 아주 낮은 비트에서 품질 손실을 줄이는 방식이다. 문서는 양자화가 정확도 손실을 가져올 수 있고 그 정도는 보통 퍼플렉시티나 KL 발산으로 잰다고 적는다. 비트가 낮을수록 파일은 작아지고 손실은 커진다.

llama.cpp가 Q4_K_M을 기본값으로 쓴다는 점도 문서에서 확인된다. 허깅페이스 저장소 이름만 주고 양자화 종류를 지정하지 않으면 Q4_K_M 파일을 받고, 없으면 저장소의 첫 파일을 받는다.

3. 내 PC에서 어느 크기까지 돌릴 수 있나

필요한 메모리는 산수로 어림할 수 있다. 파일 크기(GB)는 파라미터 수(10억 단위)에 가중치당 비트 수를 곱해 8로 나눈 값이다. Q4_K_M은 4.89비트이므로 파라미터 10억 개당 약 0.61GB다. llama.cpp 문서의 실측과 맞춰 보면 라마 3.1 8B가 4.9GB, 70B가 43.1GB로 계산값(4.9GB, 42.8GB)과 거의 같다. 같은 문서는 원본이 1,625GB인 405B 모델이 Q4_K_M에서 249.1GB가 된다고 적는다.

파라미터 수Q4_K_M 파일Q8_0 파일F16 파일Q4_K_M 실행에 잡을 메모리(파일의 1.2배)
40억(4B)2.4GB4.3GB8.0GB약 2.9GB
80억(8B)4.9GB8.5GB16.0GB약 5.9GB
140억(14B)8.6GB14.9GB28.0GB약 10.3GB
270억(27B)16.5GB28.7GB54.0GB약 19.8GB
320억(32B)19.6GB34.0GB64.0GB약 23.5GB
700억(70B)42.8GB74.4GB140.0GB약 51.4GB
1200억(120B)73.4GB127.5GB240.0GB약 88.1GB

이 표의 가정은 세 가지다. 가중치당 비트 수는 라마 3.1 8B에서 잰 값(Q4_K_M 4.89, Q8_0 8.50, F16 16.0)을 모든 모델에 그대로 적용했다. 마지막 열의 1.2배는 문맥을 기억하는 KV 캐시와 계산용 버퍼 몫으로 20%를 더한 것으로, 문맥 길이를 8,000토큰 안팎으로 짧게 잡았을 때의 어림이다. 그리고 모든 층이 다 올라가야 한다고 봤다. 실제 값은 모델 구조와 설정에 따라 달라진다.

같은 가정으로 사양을 거꾸로 읽으면 다음과 같다.

내 컴퓨터Q4_K_M으로 넉넉한 크기빠듯하거나 안 되는 크기비고
GPU 없음, 램 16GB8B14B는 다른 프로그램을 닫아야 함CPU로만 계산해 느리다
그래픽 메모리 8GB8B14B는 일부만 GPU에넘치는 층은 CPU와 램으로
그래픽 메모리 12GB14B27B
그래픽 메모리 16GB14B(Q6_K도 가능)27B는 일부만 GPU에
그래픽 메모리 24GB27B32B는 여유가 거의 없음문맥을 길게 쓰면 넘친다
애플 실리콘 통합 메모리 32GB27B32B운영체제와 메모리를 나눠 쓴다
통합 메모리 64GB70B
통합 메모리 128GB120B

그래픽 메모리가 모자라도 실행은 된다. llama.cpp는 층을 GPU와 CPU에 나눠 올릴 수 있고, v1.0.0 서버 문서 기준으로 GPU에 올릴 층 수(-ngl)의 기본값은 자동이며 지정하지 않은 값을 장치 메모리에 맞게 조정하는 --fit 옵션이 기본으로 켜져 있다. 다만 CPU로 넘어간 층이 많을수록 느려진다.

문맥 길이도 메모리를 먹는다. 모델은 앞서 읽은 토큰마다 계산 결과를 KV 캐시에 쌓아 두는데, 이 크기는 문맥 길이에 비례한다. 시스템디자인 아카데미가 큐원3 0.6B 모델로 계산한 예를 따라가 보면 층 28개, 키·값 헤드 8개, 헤드당 숫자 128개, 숫자 하나에 2바이트(16비트)이고 키와 값이 따로 있으므로 토큰 하나에 11만 4688바이트가 든다. 문맥 3만 2768토큰이면 3,584MiB다. 0.6B 모델의 가중치 파일보다 캐시가 몇 배 크다. 긴 문서를 통째로 넣으려 할 때 모델은 올라가는데 메모리가 모자라는 까닭이 여기에 있다. 1.0.0에 들어간 FP8 KV 캐시는 이 숫자 하나를 2바이트에서 1바이트로 줄이는 선택지다.

전체 파라미터 수가 크더라도 토큰마다 일부만 계산하는 구조의 모델은 이 표보다 유리하게 돌 수 있다. 「MoE(전문가 혼합)란」에서 다룬 구조이고, 1.0.0은 이런 모델의 전문가 블록을 주 메모리에 캐시해 두는 기능을 추가했다.

4. 설치와 실행 — 공식 문서에 있는 최소 절차

아래는 v1.0.0 태그의 README와 문서에 적힌 것만 옮긴 것이다. 설치 경로는 여러 가지다.

경로대상방법
설치 스크립트리눅스·맥OS·윈도README의 한 줄 명령(아래)
미리 빌드된 파일리눅스·맥OS·윈도·안드로이드·iOS깃허브 릴리스 페이지에서 내려받기
패키지 관리자운영체제별Homebrew, Winget, MacPorts, conda-forge, Debian
도커리눅스ghcr.io/ggml-org/llama.cpp:server 등. CUDA·ROCm용 이미지가 따로 있다
소스 빌드전부cmake -B build 뒤 cmake --build build --config Release

README가 맨 앞에 둔 설치 명령은 리눅스와 맥OS에서 curl -LsSf https://llama.app/install.sh | sh, 윈도 파워셸에서 irm https://llama.app/install.ps1 | iex 이다. 인터넷에서 받은 스크립트를 곧바로 실행하는 방식이므로, 꺼려지면 패키지 관리자나 릴리스 파일을 쓰면 된다. 패키지 관리자 목록은 프로젝트 팀의 발표 글에 있는 배포 채널이다.

설치한 뒤의 사용법은 두 가지다.

하려는 일명령설명
터미널에서 대화llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF허깅페이스에서 모델을 받아 바로 실행
로컬 API 서버 띄우기llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF오픈AI 호환 API와 웹 화면을 함께 제공
내려받은 파일로 실행llama cli -m 파일경로.gguf-m은 모델 파일 경로
양자화 종류 지정-hf 사용자/모델:Q4_K_M생략하면 Q4_K_M

예시의 모델은 README가 쓴 0.8B짜리 작은 모델이다. 서버를 띄우면 v1.0.0 문서 기준으로 127.0.0.1의 9931번 포트에서 듣는다. 브라우저로 그 주소를 열면 내장 웹 화면이 나오고, 프로그램에서는 /v1/chat/completions 경로로 오픈AI 방식 요청을 보낼 수 있다. 문서는 앤트로픽 메시지 API 호환 경로(/v1/messages)도 제공한다고 적는다. 기존에 클라우드 API를 부르던 코드의 주소만 바꿔 로컬 모델로 돌릴 수 있다는 뜻이다.

자주 쓰는 옵션과 기본값은 다음과 같다.

옵션뜻기본값
-c, --ctx-size문맥 길이(토큰)0, 곧 모델에 적힌 값
-ngl, --gpu-layersGPU에 올릴 층 수자동
--fit지정하지 않은 값을 장치 메모리에 맞춤켜짐
-ctk, -ctvKV 캐시의 자료형. f8_e4m3, q8_0 등f16
--host듣는 주소127.0.0.1
--port듣는 포트9931
--api-key인증에 쓸 키없음

명령 이름에 관해 한 가지 덧붙인다. v1.0.0 README는 llama cli, llama serve처럼 llama 하나에 하위 명령을 붙이는 형태를 쓰지만, 릴리스 노트와 도커 문서, 그리고 많은 기존 안내서에는 llama-cli, llama-server라는 예전 실행 파일 이름이 그대로 나온다. 같은 도구를 가리킨다. 서버 문서 안에도 예전 포트인 8080을 쓴 예시가 일부 남아 있다.

5. Ollama·LM Studio·vLLM·MLX와의 관계

로컬 AI를 찾아보면 이름이 여럿 나오는데 층위가 다르다. llama.cpp는 맨 아래의 엔진이고, 그 위에 모델 관리와 화면을 얹은 프로그램들이 있고, 옆에는 목적이 다른 엔진들이 있다.

도구무엇인가llama.cpp와의 관계맞는 경우
llama.cpp추론 엔진, 명령줄 도구, 로컬 서버, C 라이브러리본체옵션을 직접 다루고 싶을 때, 앱에 엔진을 넣을 때
Ollama모델 받기·목록·실행을 한 명령으로 묶은 프로그램llama.cpp를 내장해 함께 갱신한다. 애플 실리콘에서는 MLX가 기본설정 없이 빨리 써 보고 싶을 때
LM Studio화면으로 모델을 고르고 대화하는 데스크톱 앱llama.cpp로 GGUF 모델을 실행한다. 애플 실리콘에서는 MLX도 지원터미널을 쓰지 않을 때
vLLM다수 동시 요청을 처리하는 서버용 엔진별개 프로젝트여러 사용자에게 서비스할 때
MLX애플이 만든 애플 실리콘용 머신러닝 프레임워크별개 프로젝트맥에서 속도를 우선할 때

Ollama는 엔진이 둘이다. 릴리스 노트를 보면 거의 매 버전에 llama.cpp와 MLX를 갱신했다는 항목이 함께 있다. 2026년 9월 25일 나온 v0.40.0은 애플 실리콘 기기에서 MLX가 지원하는 모델 구조는 자동으로 MLX에서 돌도록 기본값을 바꿨다. 같은 해 10월 8일의 v0.40.2는 이전 버전으로 받은 모델을 llama.cpp에서 더 잘 돌도록 백그라운드에서 변환한다고 적었다. 정리하면 Ollama를 쓰는 사람은 기종과 모델에 따라 llama.cpp 또는 MLX 위에서 모델을 돌리고 있다.

LM Studio의 문서는 맥·윈도·리눅스에서 llama.cpp로 모델을 실행하고, 애플 실리콘 맥에서는 MLX로도 실행할 수 있다고 적는다. 앱 안에서 GGUF 모델과 MLX 모델을 따로 구분해 보여 준다.

vLLM은 겨냥하는 자리가 다르다. README가 앞세우는 것은 서빙 처리량, 페이지드어텐션을 통한 메모리 관리, 들어오는 요청의 연속 배칭이다. 한 사람이 한 대에서 쓰는 상황보다 GPU 서버 한 대로 많은 요청을 동시에 받는 상황에 맞춰져 있다. llama.cpp 서버도 병렬 디코딩과 연속 배칭을 지원하지만, 프로젝트가 내세우는 목표는 넓은 하드웨어에서의 최소 설정이다.

MLX는 애플 머신러닝 연구 조직이 내놓은 배열 프레임워크다. llama.cpp도 Metal로 애플 실리콘을 지원하므로 맥에서는 둘 중 무엇을 쓸지가 선택 사항이 된다. 두 엔진을 같은 조건에서 잰 독립 비교는 확인하지 못했다.

llama.cpp 팀도 직접 만든 데스크톱 앱을 내놓았다. 1.0.0 발표 글은 맥OS와 윈도용 Llama 앱을 소개했고, 리눅스용은 언급하지 않았다.

6. 1.0.0에서 바뀐 것과 앱 개발자에게 뜻하는 것

llama.cpp는 그동안 커밋이 쌓일 때마다 b12359 같은 빌드 번호로 배포됐다. 번호만 봐서는 어느 버전에서 기존 코드가 깨지는지 알 수 없었고, 이 엔진을 내장한 앱 개발자는 올릴 때마다 무엇이 바뀌었는지 직접 확인해야 했다.

버전 번호를 쓰기 시작한 것은 1.0.0이 처음이 아니다. 게르가노프는 2026년 8월 7일 깃허브 토론에서 ggml-org 프로젝트의 배포와 버전 방침을 공개했고, 그 뒤 0.1.0부터 0.9.0까지의 태그가 차례로 붙었다. 1.0.0은 그 번호가 호환성 약속이 되는 지점이다. 프로젝트 팀은 발표 글에 llama.cpp와 ggml 모두 API와 ABI의 비호환을 메이저 버전 증가로 반영하겠다고 적었다.

변경의 종류올라가는 자리예
include 폴더의 공개 C API를 깨는 변경메이저1.x에서 2.0
호환되는 기능 추가, 백엔드 갱신, 모델 지원, API 추가마이너1.0에서 1.1
API 변화 없는 버그 수정패치1.0.0에서 1.0.1

나이틀리 빌드는 계속 빌드 번호로 나온다. 토론 글에 따르면 정식 태그는 llama.cpp 안에 든 ggml이 배포된 ggml과 동일할 때에만 만들어지고, 각 정식 버전은 특정 나이틀리 빌드에 대응한다. 1.0.0에 대응하는 빌드는 b12359다. 토론 참여자들은 대부분의 배포가 마이너 증가가 될 것이라고 적었다.

1.0.0 릴리스 노트에 적힌 주요 변경은 다음과 같다.

구분내용영향
API 정리llama.h에서 폐기 표시된 함수 35개와 llama_set_warmup, defrag_thold 필드, --defrag-thold 옵션 제거이 함수를 부르던 코드는 컴파일되지 않는다
API 승격NextN 추측 디코딩 API 18개 함수를 비공개 헤더 llama-ext.h에서 llama.h로 이동. llama_set_embd_state_src는 llama_set_ctx_state_src로 개명추측 디코딩이 호환성 약속의 범위에 들어온다
메모리FP8 KV 캐시(-ctk, -ctv에 f8_e4m3)16비트 대비 캐시 크기 절반
MoE전문가 블록의 주 메모리 캐시와 CPU 분담 비율 설정그래픽 메모리보다 큰 MoE 모델 실행
모델텍스트 아키텍처 3종(Kimi-K3.1-Pro, Ripple, xing4_0), 음성 합성 drama-3 등
서버 보안CORS 출처 처리 수정, DNS 리바인딩 방어, CORS 프록시의 SSRF 수정, 허깅페이스 토큰을 huggingface.co로만 전송7절 참조
서버 기능오픈AI 호환 /v1/audio/speech 경로, 새로 짠 웹 화면
멀티모달clip.h 제거, mtmd로 통합이미지 입력 코드를 직접 쓰던 앱은 수정 필요
ggml1.0.0. 폐기 API 정리, FP8 지원, 백엔드별 성능 작업

추측 디코딩은 작은 보조 모델이나 모델에 딸린 예측 헤드가 다음 토큰 몇 개를 미리 내놓고 본 모델이 한꺼번에 검증해 속도를 올리는 기법이다. 이 API가 비공개 헤더에 있을 때는 예고 없이 바뀔 수 있었다. 8월 토론에서 게르가노프는 그 헤더가 공개가 아니므로 버전을 올리지 않고 바꿀 수 있다고 적은 바 있다.

앱 개발자에게 뜻하는 바는 둘이다. 당장은 일이 생긴다. 폐기 함수를 쓰던 코드는 1.0.0으로 올리는 순간 빌드가 깨지므로 먼저 고쳐야 한다. 그 뒤로는 일이 준다. 1.x 안에서는 공개 헤더를 쓰는 코드가 그대로 빌드되고, 배포판 관리자는 메이저 번호를 보고 라이브러리 호환 여부를 판단할 수 있다. 다만 이 약속은 변경을 멈추겠다는 뜻이 아니라 깨는 변경을 번호로 알리겠다는 뜻이다.

일반 사용자에게는 직접 달라지는 것이 적다. Ollama나 LM Studio를 쓴다면 그 앱이 새 엔진을 실어 내놓을 때 따라 올라간다. 직접 쓰는 사람은 --defrag-thold 옵션을 스크립트에 넣어 두었다면 지워야 한다.

7. 한계 — 속도, 큰 모델, 서버로 열 때의 보안

한계내용대처
속도GPU에 다 올라가지 않으면 CPU로 넘어간 만큼 느려진다. CPU만으로는 큰 모델의 실용 속도를 내기 어렵다더 작은 모델이나 더 낮은 비트의 파일을 고른다
긴 입력긴 프롬프트를 처음 읽는 구간이 느리다는 지적이 발표 글 댓글에도 올라왔다문맥 길이를 필요한 만큼만 잡는다
큰 모델3절의 표대로 700억 파라미터급은 Q4_K_M으로도 50GB 안팎이 필요하다양자화를 더 낮추면 품질 손실이 커진다
양자화 손실4비트 근처까지는 손실이 작다고 알려져 있으나 모델과 과제에 따라 다르다같은 질문으로 직접 비교한다
동시 사용자병렬 처리를 지원하지만 대량 서빙이 주목적은 아니다서비스 규모에서는 vLLM 같은 서버용 엔진을 검토한다
보안서버를 외부에 열면 인증 없는 API가 노출된다아래 참조

보안은 따로 짚을 필요가 있다. llama serve의 기본 설정은 내 컴퓨터 안에서만 접속되는 127.0.0.1이고, API 키의 기본값은 없음이다. 혼자 쓸 때는 이대로 문제가 없다. 그런데 다른 기기에서 접속하려고 --host를 바꾸는 순간, 같은 네트워크의 누구나 키 없이 모델을 쓸 수 있게 된다. 브라우저를 통한 공격도 있다. 서버가 내 컴퓨터에만 열려 있어도, 내가 연 웹페이지의 스크립트가 로컬 서버로 요청을 보내게 만드는 방식이다. DNS 리바인딩이 그런 수법이고, CORS 설정이 느슨하면 길이 열린다. v1.0.0 문서 기준으로 허용 출처(--cors-origins)의 기본값은 전체 허용이다.

1.0.0은 이 부분을 손봤다. 릴리스 노트에 따르면 CORS 출처 처리와 DNS 리바인딩 방어를 고쳤고, 서버가 대신 외부 주소를 가져오는 기능에서 내부망 주소를 긁어 오게 만드는 SSRF를 막았으며, 브라우저에서 하위 서버 인스턴스에 직접 접근하는 것을 차단했다. 기본값이 닫힌 옵션도 둘 생겼다. 루프백이 아닌 주소에서 API 키 없이 도구나 MCP 서버를 쓰려면 --allow-unauthenticated-tools를, 이미지 주소 같은 미디어 URL이 로컬·사설 주소를 가리키는 것을 허용하려면 --media-allow-private-urls를 직접 켜야 한다. 문서는 앞의 옵션에 신뢰할 수 있는 네트워크에서만 쓰라고 적었다.

실무 원칙은 단순하다. 혼자 쓸 때는 기본 주소를 그대로 둔다. 다른 기기에서 접속해야 하면 --api-key를 설정하고 --cors-origins를 좁힌다. 인터넷에 직접 여는 것은 엔진의 설정만으로 감당할 일이 아니다.

8. 자주 묻는 질문

Q. llama.cpp를 쓰면 무료인가? 엔진은 MIT 라이선스의 오픈소스이고 비용이 없다. 드는 것은 내 컴퓨터의 전기와 하드웨어다. 모델에는 각자의 라이선스가 따로 있으며, 내려받을 수 있다고 해서 모든 용도에 쓸 수 있는 것은 아니다.

Q. 인터넷 없이 돌아가나? 모델 파일을 한 번 받은 뒤에는 인터넷 연결 없이 실행된다. 입력한 내용이 외부 서버로 나가지 않는다는 점이 로컬 실행을 택하는 주된 이유다.

Q. Ollama를 쓰고 있는데 llama.cpp를 따로 설치해야 하나? 아니다. Ollama 안에 엔진이 들어 있다. 옵션을 세밀하게 조정하거나 최신 기능을 먼저 쓰고 싶을 때 llama.cpp를 직접 설치한다.

Q. GPU가 없어도 되나? 된다. 처음부터 GPU 없는 컴퓨터를 겨냥해 만든 엔진이다. 다만 CPU만으로는 느리므로 40억~80억 파라미터 정도의 작은 모델이 현실적이다.

Q. Q4_K_M과 Q8_0 중 무엇을 받아야 하나? 메모리가 넉넉하면 비트가 높은 쪽이 원본에 가깝다. Q8_0은 Q4_K_M보다 파일이 약 1.7배 크다. 같은 메모리라면 큰 모델을 낮은 비트로 돌릴지 작은 모델을 높은 비트로 돌릴지의 선택이 되는데, 정답은 과제마다 다르다. llama.cpp의 기본값은 Q4_K_M이다.

Q. 1.0.0으로 올리면 기존 GGUF 파일을 다시 받아야 하나? 릴리스 노트에 GGUF 형식을 바꿨다는 항목은 없다. 1.0.0에서 깨지는 것은 C API와 일부 명령줄 옵션이다.

Q. 1.0이면 이제 완성됐다는 뜻인가? 아니다. 인터페이스를 함부로 깨지 않겠다는 약속이다. 저장소에는 1.0.0 이후에도 하루에 여러 개씩 나이틀리 빌드가 올라오고 있고, 2026년 11월 15일 기준 빌드 번호는 b12425까지 갔다.

Q. 휴대전화에서도 도나? 프로젝트는 안드로이드와 iOS용 빌드를 배포하고, 스냅드래곤과 아드레노 GPU용 백엔드가 있다. 휴대전화의 메모리 한계 때문에 돌릴 수 있는 모델은 작다.

9. 남은 것과 확인되지 않은 것

항목확인된 것확인되지 않은 것
지원 아키텍처 수프로젝트 팀이 150개 이상이라고 적었다목록을 직접 세지 않았다
제거된 함수35개라는 개수와 llama_set_warmup35개 각각의 이름
프로젝트 나이저장소 생성일 기준 3년 8개월발표 글의 3.5년이 어느 날짜를 기준으로 한 것인지
FP8 KV 캐시옵션 이름과 기본값(f16), 절반이라는 바이트 계산품질·속도 영향. 애플 GPU에서 실행에 실패했다는 보도는 한 매체의 시험이다
사양별 크기 표가중치당 비트 수와 8B·70B 실측여유 20%는 어림이며 실측이 아니다
Ollamallama.cpp와 MLX를 함께 싣는다는 것1.0.0 엔진을 실은 버전이 나왔는지
버전 규칙공개 C API 기준의 메이저·마이너·패치서버 REST API 변경을 어떻게 셀지의 세부. 저장소의 release.md는 예전 내용이 남아 있다
엔진 간 속도각 프로젝트가 내세우는 목표같은 조건의 독립 비교
위키백과2026년 11월 16일 확인 시 안정 버전을 0.9.0으로 표기갱신 시점

가중치를 줄이는 원리와 4비트의 의미는 「모델 양자화란」에서, 기기 안에서 모델을 돌리는 흐름 전반은 「온디바이스 AI란」에서, 내려받을 수 있는 모델과 라이선스의 구분은 「오픈웨이트 모델이란」에서, 전체 크기에 비해 적은 계산으로 도는 모델 구조는 「MoE(전문가 혼합)란」에서 다뤘다.

출처

  1. GitHub ggml-org/llama.cpp — v1.0.0 릴리스 노트 (2026-11-13)
  2. 허깅페이스 블로그(ggml-org) — llama.cpp v1.0.0 발표 (2026-11-13)
  3. GitHub ggml-org/llama.cpp PR #30565 — llama : prune (2026-11-12 병합)
  4. GitHub ggml-org/ggml 토론 #1579 — releases and versioning of ggml-org projects (2026-08-07)
  5. llama.cpp README (v1.0.0 태그) — 설치·실행·지원 백엔드
  6. llama.cpp docs/release.md (v1.0.0 태그) — 버전 규칙
  7. llama.cpp tools/server/README.md (v1.0.0 태그) — 서버 옵션과 기본값
  8. llama.cpp tools/quantize/README.md (v1.0.0 태그) — 양자화 종류별 크기
  9. llama.cpp docs/build.md · docs/docker.md (v1.0.0 태그) — 빌드와 도커 이미지
  10. ggml docs/gguf.md — GGUF 형식 명세와 파일명 규칙
  11. 위키백과(영어) — Llama.cpp
  12. GitHub ollama/ollama — 릴리스 노트 (v0.40.0, 2026-09-25 외)
  13. LM Studio 문서 — 앱 개요(지원 엔진과 플랫폼)
  14. GitHub vllm-project/vllm — README
  15. GitHub ml-explore/mlx — README
  16. tbreak — llama.cpp 1.0 stable release (2026-11-13)
  17. 파스콸레 필리테리 — llama.cpp 1.0: stable API and ggml (2026-11-13)
  18. DEV 커뮤니티 — llama.cpp just hit 1.0 (2026-11-14)
  19. 시스템디자인 아카데미 — llama.cpp v1 explained (2026-11-14)

검증

발행
최종 수정
교차 확인
서로 다른 출처 19건을 대조했다.
미검증
  • 「150개 이상의 아키텍처 변형 지원」은 프로젝트 팀이 허깅페이스 블로그에 적은 숫자다. 목록을 직접 세어 확인하지 않았다.
  • 제거된 폐기 함수 35개의 이름 전체는 확인하지 못했다. PR #30565 설명과 릴리스 노트에는 개수와 llama_set_warmup, defrag_thold만 적혀 있다.
  • 허깅페이스 블로그는 프로젝트가 시작된 지 3.5년이라고 썼다. 깃허브 저장소 생성일(2023년 3월 10일)부터 1.0.0 태그(2026년 11월 13일)까지는 3년 8개월이다.
  • FP8 KV 캐시가 16비트의 절반 크기(3,584MiB에서 1,792MiB)라는 실측과, 애플 GPU(Metal)에서 FP8 서버가 시작 직후 종료됐다는 내용은 시스템디자인 아카데미 한 곳의 시험 결과다. 절반이라는 비율 자체는 바이트 수 계산으로 확인된다.
  • API 키 없이 CORS가 전체 허용일 때 시작 경고가 뜬다는 내용도 같은 매체 한 곳에서만 확인했다.
  • 사양별로 돌릴 수 있는 모델 크기 표는 가중치당 비트 수로 계산한 값에 여유 20%를 더한 추정이며 실측이 아니다. 문맥 길이, 운영체제가 쓰는 메모리, 모델 구조에 따라 달라진다.
  • Ollama가 llama.cpp 1.0.0으로 옮겼는지는 확인하지 못했다. 2026년 11월 10일 시험판(v0.40.17-rc0) 노트에 llama.cpp b12257로 올렸다는 항목까지만 확인했다.
  • v1.0.0 태그의 docs/release.md에는 깃허브 릴리스 객체를 만들지 않는다는 문장과 0.1.0 예시가 그대로 남아 있어 실제 운영(v1.0.0 릴리스 페이지 존재)과 다르다. 서버 REST API 변경을 메이저로 볼지에 관한 세부 규칙은 토론 #1579의 제안 단계 내용이다.
  • 위키백과 영어판 인포박스는 2026년 11월 16일 확인 시점에 안정 버전을 0.9.0(2026년 11월 4일)으로 적고 있었다.
  • 속도(초당 토큰) 수치는 하드웨어와 설정에 따라 크게 달라 본문에 싣지 않았다. llama.cpp와 MLX·vLLM을 같은 조건에서 잰 독립 비교는 확인하지 못했다.
작성
발행 전 사람이 검수했다. 수집·교차확인·재작성 절차는 편집 원칙.

하루 열 건, 아침에 한 번

3줄 요약만 보내고 전문은 사이트에서 읽습니다. 하단에서 한 번의 클릭으로 언제든 해지할 수 있습니다.

관련