llama.cpp란 — Ollama·LM Studio 밑에서 도는 엔진
llama.cpp is an open-source C/C++ engine that runs AI language models on ordinary PCs, phones and servers. It loads models stored as GGUF files, usually quantized to about 4 to 5 bits per weight, so an 8-billion-parameter model fits in about 4.9 GB. Ollama and LM Studio both run models on it. Version 1.0.0, tagged on November 13, 2026, removed 35 deprecated functions and promised that breaking changes to the public C API will come only with a major version bump.
llama.cpp는 AI 언어 모델을 내 컴퓨터에서 직접 돌리게 해 주는 오픈소스 추론 엔진이다. 2023년 3월 게오르기 게르가노프가 C/C++로 만들기 시작했고, GGUF라는 파일 하나에 담긴 모델을 CPU나 GPU에 올려 실행한다. 가중치를 4~5비트로 줄인 양자화 파일을 쓰기 때문에 80억 파라미터 모델이 약 4.9GB면 올라간다. Ollama와 LM Studio도 이 엔진 위에서 모델을 돌린다. 2026년 11월 13일 나온 1.0.0은 폐기 함수 35개를 지우고, 공개 C API가 깨질 때만 메이저 버전을 올리겠다고 약속한 첫 버전이다. 여러 사람이 동시에 쓰는 서버에는 vLLM 같은 다른 엔진이 더 맞는다
3줄 요약
- 뜻 — GGUF 파일에 담긴 AI 모델을 CPU·GPU에서 실행하는 C/C++ 엔진. Ollama와 LM Studio가 이 위에서 돈다
- 크기 — Q4_K_M 기준 80억 파라미터 모델은 약 4.9GB, 700억은 약 43GB. 파라미터 수에 0.61을 곱하면 GB가 나온다
- 1.0.0 — 2026년 11월 13일 태그. 폐기 함수 35개 제거, 공개 C API가 깨지면 메이저 버전을 올린다는 약속
핵심 질문
- llama.cpp란
- **AI 언어 모델을 내 컴퓨터에서 실행하는 오픈소스 C/C++ 추론 엔진이다. 모델을 만들거나 학습시키는 도구가 아니라, 이미 만들어진 모델 파일을 읽어 답을 생성하는 프로그램이다.** | 항목 | 내용 | |---|---| | 만든 사람 | 게오르기 게르가노프, 2023년 3월 10일 저장소 공개 | | 언어·라이선스 | C/C++, MIT | | 읽는 파일 | GGUF (모델 가중치와 설정이 한 파일에) | | 도는 곳 | CPU, 엔비디아·AMD·인텔 GPU, 애플 실리콘, 스냅드래곤 등 | | 쓰는 방법 | 터미널 대화(`llama cli`), 로컬 API 서버(`llama serve`), C 라이브러리 | | 최신 정식 버전 | 1.0.0 (2026년 11월 13일) |
- llama.cpp ollama 차이
- **llama.cpp는 엔진이고 Ollama는 그 엔진을 싣고 모델 내려받기와 관리를 대신해 주는 프로그램이다. Ollama는 llama.cpp와 애플의 MLX 두 엔진을 함께 쓴다.** | 도구 | 성격 | llama.cpp와의 관계 | |---|---|---| | llama.cpp | 추론 엔진과 기본 도구 | 본체 | | Ollama | 모델 관리와 실행을 묶은 프로그램 | llama.cpp를 내장. 애플 실리콘에서는 MLX가 기본 | | LM Studio | 화면이 있는 데스크톱 앱 | llama.cpp로 GGUF 실행. 애플 실리콘에서는 MLX도 지원 | | vLLM | 다수 동시 요청용 서버 엔진 | 별개 프로젝트 | | MLX | 애플 실리콘용 머신러닝 프레임워크 | 별개 프로젝트 |
- GGUF란
- **llama.cpp가 읽는 모델 파일 형식이다. 가중치, 토크나이저, 설정값이 파일 하나에 들어 있고, 파일명 끝의 Q4_K_M 같은 표기가 가중치를 몇 비트로 줄였는지 알려 준다.** | 표기 | 가중치당 비트 | 80억 파라미터 모델 크기 | 16비트 대비 | |---|---|---|---| | F16 | 16.00 | 14.96GiB | 100% | | Q8_0 | 8.50 | 7.95GiB | 53% | | Q6_K | 6.56 | 6.14GiB | 41% | | Q5_K_M | 5.70 | 5.33GiB | 36% | | Q4_K_M | 4.89 | 4.58GiB | 31% | | Q3_K_M | 4.00 | 3.74GiB | 25% |
llama.cpp는 AI 언어 모델을 내 컴퓨터에서 직접 실행하게 해 주는 오픈소스 추론 엔진이다. 챗봇 서비스에 접속하는 대신 모델 파일을 내려받아 노트북이나 데스크톱에서 돌리는 사람이 쓰는 프로그램의 대부분은 이 엔진을 직접 쓰거나, 이 엔진을 속에 품고 있다. Ollama와 LM Studio가 그렇다.
이 프로젝트는 2026년 11월 13일 10시 20분(협정 세계시, 한국 시각 같은 날 19시 20분) 1.0.0 태그를 달았다. 2023년 3월 10일 저장소가 열린 뒤 3년 8개월 만이다. 숫자 하나가 바뀐 것처럼 보이지만 내용은 약속이다. 공개 C API를 깨는 변경은 메이저 버전을 올릴 때만 한다는 것이다. 이 글은 llama.cpp가 무엇이고, 모델 파일명에 붙은 Q4_K_M 같은 표기를 어떻게 읽는지, 내 컴퓨터에서 어느 크기까지 돌릴 수 있는지, Ollama·LM Studio·vLLM·MLX와는 어떤 관계인지를 정리한다.
1. llama.cpp는 무엇이고 왜 생겼나
AI 언어 모델을 쓰는 일은 두 단계로 나뉜다. 모델을 만드는 학습과, 만들어진 모델에 질문을 넣어 답을 받는 추론이다. llama.cpp는 추론만 한다. 수십억 개의 숫자(가중치)가 담긴 모델 파일을 메모리에 올리고, 입력된 글 다음에 올 토큰을 하나씩 계산해 내놓는다.
2023년 초까지 이런 계산은 파이썬과 파이토치, 그리고 엔비디아 GPU가 있어야 하는 일이었다. 개발자 게오르기 게르가노프는 2022년 9월 말 ggml이라는 텐서 계산 라이브러리를 만들기 시작했고, 이를 써서 오픈AI의 음성 인식 모델을 옮긴 whisper.cpp를 먼저 내놓았다. llama.cpp는 그다음이다. 위키백과에 따르면 메타의 라마(Llama) 모델 추론을 외부 의존성 없는 C/C++로, GPU가 없는 컴퓨터에서도 돌도록 다시 짠 것이 출발이었다. 이름의 llama는 그 모델에서, .cpp는 C++ 소스 파일 확장자에서 왔다. 지금은 라마 계열이 아닌 모델이 대부분이지만 이름은 그대로 남았다.
| 시점 | 일어난 일 | 출처 |
|---|---|---|
| 2022년 9월 말 | 게르가노프가 ggml 라이브러리 개발 시작 | 위키백과 |
| 2023년 3월 10일 | llama.cpp 저장소 공개 | 깃허브 저장소 생성일 |
| 2023년 8월 | 모델 파일 형식 GGUF 도입 | 위키백과, GGUF 명세 |
| 2025년 4월 10일 | 이미지·음성 입력을 한 API로 다루는 libmtmd 도입 | 위키백과 |
| 2026년 2월 20일 | 개발팀 ggml.ai가 허깅페이스에 합류 | 위키백과 |
| 2026년 8월 7일 | 시맨틱 버저닝 방침을 깃허브 토론으로 공개, 이후 0.1.x 태그 시작 | ggml 토론 #1579 |
| 2026년 11월 4일 | 0.9.0 | 깃허브 릴리스 |
| 2026년 11월 13일 | 1.0.0, ggml도 같은 날 1.0.0 | 깃허브 릴리스 |
이 엔진이 퍼진 이유는 세 가지로 요약된다. 첫째, 설치할 것이 거의 없다. 프로젝트 README는 첫 특징으로 의존성 없는 순수 C/C++ 구현을 든다. 둘째, 도는 하드웨어가 넓다. v1.0.0 README의 백엔드 표에는 엔비디아 GPU(CUDA), AMD GPU(HIP), 애플 실리콘(Metal), 인텔 GPU(SYCL), 스냅드래곤(Hexagon), 범용 GPU(Vulkan), WebGPU 등 17개 항목이 올라 있다. 셋째, 작게 줄인 모델을 쓴다. 가중치를 1.5비트에서 8비트까지의 정수로 줄이는 양자화를 지원하고, GPU 메모리에 다 올라가지 않는 모델은 일부만 GPU에 올리고 나머지는 CPU로 계산한다.
2026년 11월 16일 확인한 깃허브 저장소의 별 수는 13만 5193개이고 라이선스는 MIT다. 프로젝트 팀은 1.0.0 발표 글에서 150개가 넘는 모델 아키텍처 변형을 지원한다고 적었다.
2. GGUF 파일과 Q4_K_M 읽기
llama.cpp가 읽는 모델 파일은 GGUF 형식이다. 명세에 따르면 이 형식은 이전의 GGML·GGMF·GGJT 형식을 잇는 것으로, 세 가지를 목표로 설계됐다. 추가 파일 없이 파일 하나로 배포할 수 있을 것, 기존 모델을 깨지 않고 정보를 덧붙일 수 있을 것, 운영체제의 mmap으로 빠르게 불러올 수 있을 것이다. 가중치뿐 아니라 토크나이저 어휘, 문맥 길이, 대화 템플릿 같은 설정이 파일 안에 함께 들어 있어서, 파일 하나만 받으면 실행에 필요한 것이 모두 갖춰진다.
모델 공유 사이트에서 GGUF 파일을 찾으면 이름이 길다. 명세가 정한 규칙은 다음과 같고, 각 부분은 하이픈으로 잇는다.
| 자리 | 뜻 | 예 |
|---|---|---|
| 접두사(선택) | 본체가 아니라 함께 불러오는 보조 파일임을 표시 | mmproj(이미지·음성 입력용), mtp(추측 디코딩용) |
| 기본 이름 | 모델 계열 | Hermes-2-Pro-Llama-3 |
| 크기 | 파라미터 수. B는 10억, M은 100만 | 8B, 8x7B(전문가 8개짜리 MoE) |
| 미세조정 | 용도 | instruct, chat |
| 버전 | 모델 버전 | v1.0 |
| 인코딩 | 가중치를 어떻게 줄였나 | Q4_K_M, F16 |
| 분할 | 여러 파일로 나뉜 경우의 순번 | 00003-of-00009 |
명세가 예로 든 Hermes-2-Pro-Llama-3-8B-v1.0-F16.gguf는 헤르메스 2 프로 라마 3 계열, 80억 파라미터, 버전 1.0, 16비트 부동소수점 그대로라는 뜻이다.
가장 자주 헷갈리는 것이 인코딩 자리다. Q4_K_M을 풀면 이렇다. Q는 양자화했다는 뜻, 4는 가중치 하나에 쓰는 비트 수의 기준값, K는 k-퀀트라고 부르는 방식, M은 같은 비트 수 안에서의 등급(S 작음, M 중간, L 큼)이다. k-퀀트는 모델의 모든 층을 똑같이 줄이지 않고 중요한 층에는 비트를 더 주는 혼합 방식이어서, 실제 평균 비트 수는 4가 아니라 4.89다. 원리는 「모델 양자화란」에서 다뤘다.
| 표기 | 읽는 법 | 가중치당 비트 | 크기 (라마 3.1 8B) | 16비트 대비 |
|---|---|---|---|---|
| F16 | 16비트 부동소수점, 줄이지 않음 | 16.00 | 14.96GiB | 100% |
| Q8_0 | 8비트, 구형 단순 방식 | 8.50 | 7.95GiB | 53% |
| Q6_K | 6비트 k-퀀트 | 6.56 | 6.14GiB | 41% |
| Q5_K_M | 5비트 k-퀀트, 중간 | 5.70 | 5.33GiB | 36% |
| Q4_K_M | 4비트 k-퀀트, 중간 | 4.89 | 4.58GiB | 31% |
| Q4_K_S | 4비트 k-퀀트, 작음 | 4.67 | 4.36GiB | 29% |
| Q3_K_M | 3비트 k-퀀트, 중간 | 4.00 | 3.74GiB | 25% |
| IQ2_M | 2비트 i-퀀트, 중간 | 2.93 | 2.74GiB | 18% |
수치는 llama.cpp 저장소의 양자화 도구 문서가 메타 라마 3.1 8B 모델로 잰 값이다. IQ로 시작하는 i-퀀트는 중요도 행렬(imatrix)을 써서 아주 낮은 비트에서 품질 손실을 줄이는 방식이다. 문서는 양자화가 정확도 손실을 가져올 수 있고 그 정도는 보통 퍼플렉시티나 KL 발산으로 잰다고 적는다. 비트가 낮을수록 파일은 작아지고 손실은 커진다.
llama.cpp가 Q4_K_M을 기본값으로 쓴다는 점도 문서에서 확인된다. 허깅페이스 저장소 이름만 주고 양자화 종류를 지정하지 않으면 Q4_K_M 파일을 받고, 없으면 저장소의 첫 파일을 받는다.
3. 내 PC에서 어느 크기까지 돌릴 수 있나
필요한 메모리는 산수로 어림할 수 있다. 파일 크기(GB)는 파라미터 수(10억 단위)에 가중치당 비트 수를 곱해 8로 나눈 값이다. Q4_K_M은 4.89비트이므로 파라미터 10억 개당 약 0.61GB다. llama.cpp 문서의 실측과 맞춰 보면 라마 3.1 8B가 4.9GB, 70B가 43.1GB로 계산값(4.9GB, 42.8GB)과 거의 같다. 같은 문서는 원본이 1,625GB인 405B 모델이 Q4_K_M에서 249.1GB가 된다고 적는다.
| 파라미터 수 | Q4_K_M 파일 | Q8_0 파일 | F16 파일 | Q4_K_M 실행에 잡을 메모리(파일의 1.2배) |
|---|---|---|---|---|
| 40억(4B) | 2.4GB | 4.3GB | 8.0GB | 약 2.9GB |
| 80억(8B) | 4.9GB | 8.5GB | 16.0GB | 약 5.9GB |
| 140억(14B) | 8.6GB | 14.9GB | 28.0GB | 약 10.3GB |
| 270억(27B) | 16.5GB | 28.7GB | 54.0GB | 약 19.8GB |
| 320억(32B) | 19.6GB | 34.0GB | 64.0GB | 약 23.5GB |
| 700억(70B) | 42.8GB | 74.4GB | 140.0GB | 약 51.4GB |
| 1200억(120B) | 73.4GB | 127.5GB | 240.0GB | 약 88.1GB |
이 표의 가정은 세 가지다. 가중치당 비트 수는 라마 3.1 8B에서 잰 값(Q4_K_M 4.89, Q8_0 8.50, F16 16.0)을 모든 모델에 그대로 적용했다. 마지막 열의 1.2배는 문맥을 기억하는 KV 캐시와 계산용 버퍼 몫으로 20%를 더한 것으로, 문맥 길이를 8,000토큰 안팎으로 짧게 잡았을 때의 어림이다. 그리고 모든 층이 다 올라가야 한다고 봤다. 실제 값은 모델 구조와 설정에 따라 달라진다.
같은 가정으로 사양을 거꾸로 읽으면 다음과 같다.
| 내 컴퓨터 | Q4_K_M으로 넉넉한 크기 | 빠듯하거나 안 되는 크기 | 비고 |
|---|---|---|---|
| GPU 없음, 램 16GB | 8B | 14B는 다른 프로그램을 닫아야 함 | CPU로만 계산해 느리다 |
| 그래픽 메모리 8GB | 8B | 14B는 일부만 GPU에 | 넘치는 층은 CPU와 램으로 |
| 그래픽 메모리 12GB | 14B | 27B | |
| 그래픽 메모리 16GB | 14B(Q6_K도 가능) | 27B는 일부만 GPU에 | |
| 그래픽 메모리 24GB | 27B | 32B는 여유가 거의 없음 | 문맥을 길게 쓰면 넘친다 |
| 애플 실리콘 통합 메모리 32GB | 27B | 32B | 운영체제와 메모리를 나눠 쓴다 |
| 통합 메모리 64GB | 70B | ||
| 통합 메모리 128GB | 120B |
그래픽 메모리가 모자라도 실행은 된다. llama.cpp는 층을 GPU와 CPU에 나눠 올릴 수 있고, v1.0.0 서버 문서 기준으로 GPU에 올릴 층 수(-ngl)의 기본값은 자동이며 지정하지 않은 값을 장치 메모리에 맞게 조정하는 --fit 옵션이 기본으로 켜져 있다. 다만 CPU로 넘어간 층이 많을수록 느려진다.
문맥 길이도 메모리를 먹는다. 모델은 앞서 읽은 토큰마다 계산 결과를 KV 캐시에 쌓아 두는데, 이 크기는 문맥 길이에 비례한다. 시스템디자인 아카데미가 큐원3 0.6B 모델로 계산한 예를 따라가 보면 층 28개, 키·값 헤드 8개, 헤드당 숫자 128개, 숫자 하나에 2바이트(16비트)이고 키와 값이 따로 있으므로 토큰 하나에 11만 4688바이트가 든다. 문맥 3만 2768토큰이면 3,584MiB다. 0.6B 모델의 가중치 파일보다 캐시가 몇 배 크다. 긴 문서를 통째로 넣으려 할 때 모델은 올라가는데 메모리가 모자라는 까닭이 여기에 있다. 1.0.0에 들어간 FP8 KV 캐시는 이 숫자 하나를 2바이트에서 1바이트로 줄이는 선택지다.
전체 파라미터 수가 크더라도 토큰마다 일부만 계산하는 구조의 모델은 이 표보다 유리하게 돌 수 있다. 「MoE(전문가 혼합)란」에서 다룬 구조이고, 1.0.0은 이런 모델의 전문가 블록을 주 메모리에 캐시해 두는 기능을 추가했다.
4. 설치와 실행 — 공식 문서에 있는 최소 절차
아래는 v1.0.0 태그의 README와 문서에 적힌 것만 옮긴 것이다. 설치 경로는 여러 가지다.
| 경로 | 대상 | 방법 |
|---|---|---|
| 설치 스크립트 | 리눅스·맥OS·윈도 | README의 한 줄 명령(아래) |
| 미리 빌드된 파일 | 리눅스·맥OS·윈도·안드로이드·iOS | 깃허브 릴리스 페이지에서 내려받기 |
| 패키지 관리자 | 운영체제별 | Homebrew, Winget, MacPorts, conda-forge, Debian |
| 도커 | 리눅스 | ghcr.io/ggml-org/llama.cpp:server 등. CUDA·ROCm용 이미지가 따로 있다 |
| 소스 빌드 | 전부 | cmake -B build 뒤 cmake --build build --config Release |
README가 맨 앞에 둔 설치 명령은 리눅스와 맥OS에서 curl -LsSf https://llama.app/install.sh | sh, 윈도 파워셸에서 irm https://llama.app/install.ps1 | iex 이다. 인터넷에서 받은 스크립트를 곧바로 실행하는 방식이므로, 꺼려지면 패키지 관리자나 릴리스 파일을 쓰면 된다. 패키지 관리자 목록은 프로젝트 팀의 발표 글에 있는 배포 채널이다.
설치한 뒤의 사용법은 두 가지다.
| 하려는 일 | 명령 | 설명 |
|---|---|---|
| 터미널에서 대화 | llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF | 허깅페이스에서 모델을 받아 바로 실행 |
| 로컬 API 서버 띄우기 | llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF | 오픈AI 호환 API와 웹 화면을 함께 제공 |
| 내려받은 파일로 실행 | llama cli -m 파일경로.gguf | -m은 모델 파일 경로 |
| 양자화 종류 지정 | -hf 사용자/모델:Q4_K_M | 생략하면 Q4_K_M |
예시의 모델은 README가 쓴 0.8B짜리 작은 모델이다. 서버를 띄우면 v1.0.0 문서 기준으로 127.0.0.1의 9931번 포트에서 듣는다. 브라우저로 그 주소를 열면 내장 웹 화면이 나오고, 프로그램에서는 /v1/chat/completions 경로로 오픈AI 방식 요청을 보낼 수 있다. 문서는 앤트로픽 메시지 API 호환 경로(/v1/messages)도 제공한다고 적는다. 기존에 클라우드 API를 부르던 코드의 주소만 바꿔 로컬 모델로 돌릴 수 있다는 뜻이다.
자주 쓰는 옵션과 기본값은 다음과 같다.
| 옵션 | 뜻 | 기본값 |
|---|---|---|
-c, --ctx-size | 문맥 길이(토큰) | 0, 곧 모델에 적힌 값 |
-ngl, --gpu-layers | GPU에 올릴 층 수 | 자동 |
--fit | 지정하지 않은 값을 장치 메모리에 맞춤 | 켜짐 |
-ctk, -ctv | KV 캐시의 자료형. f8_e4m3, q8_0 등 | f16 |
--host | 듣는 주소 | 127.0.0.1 |
--port | 듣는 포트 | 9931 |
--api-key | 인증에 쓸 키 | 없음 |
명령 이름에 관해 한 가지 덧붙인다. v1.0.0 README는 llama cli, llama serve처럼 llama 하나에 하위 명령을 붙이는 형태를 쓰지만, 릴리스 노트와 도커 문서, 그리고 많은 기존 안내서에는 llama-cli, llama-server라는 예전 실행 파일 이름이 그대로 나온다. 같은 도구를 가리킨다. 서버 문서 안에도 예전 포트인 8080을 쓴 예시가 일부 남아 있다.
5. Ollama·LM Studio·vLLM·MLX와의 관계
로컬 AI를 찾아보면 이름이 여럿 나오는데 층위가 다르다. llama.cpp는 맨 아래의 엔진이고, 그 위에 모델 관리와 화면을 얹은 프로그램들이 있고, 옆에는 목적이 다른 엔진들이 있다.
| 도구 | 무엇인가 | llama.cpp와의 관계 | 맞는 경우 |
|---|---|---|---|
| llama.cpp | 추론 엔진, 명령줄 도구, 로컬 서버, C 라이브러리 | 본체 | 옵션을 직접 다루고 싶을 때, 앱에 엔진을 넣을 때 |
| Ollama | 모델 받기·목록·실행을 한 명령으로 묶은 프로그램 | llama.cpp를 내장해 함께 갱신한다. 애플 실리콘에서는 MLX가 기본 | 설정 없이 빨리 써 보고 싶을 때 |
| LM Studio | 화면으로 모델을 고르고 대화하는 데스크톱 앱 | llama.cpp로 GGUF 모델을 실행한다. 애플 실리콘에서는 MLX도 지원 | 터미널을 쓰지 않을 때 |
| vLLM | 다수 동시 요청을 처리하는 서버용 엔진 | 별개 프로젝트 | 여러 사용자에게 서비스할 때 |
| MLX | 애플이 만든 애플 실리콘용 머신러닝 프레임워크 | 별개 프로젝트 | 맥에서 속도를 우선할 때 |
Ollama는 엔진이 둘이다. 릴리스 노트를 보면 거의 매 버전에 llama.cpp와 MLX를 갱신했다는 항목이 함께 있다. 2026년 9월 25일 나온 v0.40.0은 애플 실리콘 기기에서 MLX가 지원하는 모델 구조는 자동으로 MLX에서 돌도록 기본값을 바꿨다. 같은 해 10월 8일의 v0.40.2는 이전 버전으로 받은 모델을 llama.cpp에서 더 잘 돌도록 백그라운드에서 변환한다고 적었다. 정리하면 Ollama를 쓰는 사람은 기종과 모델에 따라 llama.cpp 또는 MLX 위에서 모델을 돌리고 있다.
LM Studio의 문서는 맥·윈도·리눅스에서 llama.cpp로 모델을 실행하고, 애플 실리콘 맥에서는 MLX로도 실행할 수 있다고 적는다. 앱 안에서 GGUF 모델과 MLX 모델을 따로 구분해 보여 준다.
vLLM은 겨냥하는 자리가 다르다. README가 앞세우는 것은 서빙 처리량, 페이지드어텐션을 통한 메모리 관리, 들어오는 요청의 연속 배칭이다. 한 사람이 한 대에서 쓰는 상황보다 GPU 서버 한 대로 많은 요청을 동시에 받는 상황에 맞춰져 있다. llama.cpp 서버도 병렬 디코딩과 연속 배칭을 지원하지만, 프로젝트가 내세우는 목표는 넓은 하드웨어에서의 최소 설정이다.
MLX는 애플 머신러닝 연구 조직이 내놓은 배열 프레임워크다. llama.cpp도 Metal로 애플 실리콘을 지원하므로 맥에서는 둘 중 무엇을 쓸지가 선택 사항이 된다. 두 엔진을 같은 조건에서 잰 독립 비교는 확인하지 못했다.
llama.cpp 팀도 직접 만든 데스크톱 앱을 내놓았다. 1.0.0 발표 글은 맥OS와 윈도용 Llama 앱을 소개했고, 리눅스용은 언급하지 않았다.
6. 1.0.0에서 바뀐 것과 앱 개발자에게 뜻하는 것
llama.cpp는 그동안 커밋이 쌓일 때마다 b12359 같은 빌드 번호로 배포됐다. 번호만 봐서는 어느 버전에서 기존 코드가 깨지는지 알 수 없었고, 이 엔진을 내장한 앱 개발자는 올릴 때마다 무엇이 바뀌었는지 직접 확인해야 했다.
버전 번호를 쓰기 시작한 것은 1.0.0이 처음이 아니다. 게르가노프는 2026년 8월 7일 깃허브 토론에서 ggml-org 프로젝트의 배포와 버전 방침을 공개했고, 그 뒤 0.1.0부터 0.9.0까지의 태그가 차례로 붙었다. 1.0.0은 그 번호가 호환성 약속이 되는 지점이다. 프로젝트 팀은 발표 글에 llama.cpp와 ggml 모두 API와 ABI의 비호환을 메이저 버전 증가로 반영하겠다고 적었다.
| 변경의 종류 | 올라가는 자리 | 예 |
|---|---|---|
include 폴더의 공개 C API를 깨는 변경 | 메이저 | 1.x에서 2.0 |
| 호환되는 기능 추가, 백엔드 갱신, 모델 지원, API 추가 | 마이너 | 1.0에서 1.1 |
| API 변화 없는 버그 수정 | 패치 | 1.0.0에서 1.0.1 |
나이틀리 빌드는 계속 빌드 번호로 나온다. 토론 글에 따르면 정식 태그는 llama.cpp 안에 든 ggml이 배포된 ggml과 동일할 때에만 만들어지고, 각 정식 버전은 특정 나이틀리 빌드에 대응한다. 1.0.0에 대응하는 빌드는 b12359다. 토론 참여자들은 대부분의 배포가 마이너 증가가 될 것이라고 적었다.
1.0.0 릴리스 노트에 적힌 주요 변경은 다음과 같다.
| 구분 | 내용 | 영향 |
|---|---|---|
| API 정리 | llama.h에서 폐기 표시된 함수 35개와 llama_set_warmup, defrag_thold 필드, --defrag-thold 옵션 제거 | 이 함수를 부르던 코드는 컴파일되지 않는다 |
| API 승격 | NextN 추측 디코딩 API 18개 함수를 비공개 헤더 llama-ext.h에서 llama.h로 이동. llama_set_embd_state_src는 llama_set_ctx_state_src로 개명 | 추측 디코딩이 호환성 약속의 범위에 들어온다 |
| 메모리 | FP8 KV 캐시(-ctk, -ctv에 f8_e4m3) | 16비트 대비 캐시 크기 절반 |
| MoE | 전문가 블록의 주 메모리 캐시와 CPU 분담 비율 설정 | 그래픽 메모리보다 큰 MoE 모델 실행 |
| 모델 | 텍스트 아키텍처 3종(Kimi-K3.1-Pro, Ripple, xing4_0), 음성 합성 drama-3 등 | |
| 서버 보안 | CORS 출처 처리 수정, DNS 리바인딩 방어, CORS 프록시의 SSRF 수정, 허깅페이스 토큰을 huggingface.co로만 전송 | 7절 참조 |
| 서버 기능 | 오픈AI 호환 /v1/audio/speech 경로, 새로 짠 웹 화면 | |
| 멀티모달 | clip.h 제거, mtmd로 통합 | 이미지 입력 코드를 직접 쓰던 앱은 수정 필요 |
| ggml | 1.0.0. 폐기 API 정리, FP8 지원, 백엔드별 성능 작업 |
추측 디코딩은 작은 보조 모델이나 모델에 딸린 예측 헤드가 다음 토큰 몇 개를 미리 내놓고 본 모델이 한꺼번에 검증해 속도를 올리는 기법이다. 이 API가 비공개 헤더에 있을 때는 예고 없이 바뀔 수 있었다. 8월 토론에서 게르가노프는 그 헤더가 공개가 아니므로 버전을 올리지 않고 바꿀 수 있다고 적은 바 있다.
앱 개발자에게 뜻하는 바는 둘이다. 당장은 일이 생긴다. 폐기 함수를 쓰던 코드는 1.0.0으로 올리는 순간 빌드가 깨지므로 먼저 고쳐야 한다. 그 뒤로는 일이 준다. 1.x 안에서는 공개 헤더를 쓰는 코드가 그대로 빌드되고, 배포판 관리자는 메이저 번호를 보고 라이브러리 호환 여부를 판단할 수 있다. 다만 이 약속은 변경을 멈추겠다는 뜻이 아니라 깨는 변경을 번호로 알리겠다는 뜻이다.
일반 사용자에게는 직접 달라지는 것이 적다. Ollama나 LM Studio를 쓴다면 그 앱이 새 엔진을 실어 내놓을 때 따라 올라간다. 직접 쓰는 사람은 --defrag-thold 옵션을 스크립트에 넣어 두었다면 지워야 한다.
7. 한계 — 속도, 큰 모델, 서버로 열 때의 보안
| 한계 | 내용 | 대처 |
|---|---|---|
| 속도 | GPU에 다 올라가지 않으면 CPU로 넘어간 만큼 느려진다. CPU만으로는 큰 모델의 실용 속도를 내기 어렵다 | 더 작은 모델이나 더 낮은 비트의 파일을 고른다 |
| 긴 입력 | 긴 프롬프트를 처음 읽는 구간이 느리다는 지적이 발표 글 댓글에도 올라왔다 | 문맥 길이를 필요한 만큼만 잡는다 |
| 큰 모델 | 3절의 표대로 700억 파라미터급은 Q4_K_M으로도 50GB 안팎이 필요하다 | 양자화를 더 낮추면 품질 손실이 커진다 |
| 양자화 손실 | 4비트 근처까지는 손실이 작다고 알려져 있으나 모델과 과제에 따라 다르다 | 같은 질문으로 직접 비교한다 |
| 동시 사용자 | 병렬 처리를 지원하지만 대량 서빙이 주목적은 아니다 | 서비스 규모에서는 vLLM 같은 서버용 엔진을 검토한다 |
| 보안 | 서버를 외부에 열면 인증 없는 API가 노출된다 | 아래 참조 |
보안은 따로 짚을 필요가 있다. llama serve의 기본 설정은 내 컴퓨터 안에서만 접속되는 127.0.0.1이고, API 키의 기본값은 없음이다. 혼자 쓸 때는 이대로 문제가 없다. 그런데 다른 기기에서 접속하려고 --host를 바꾸는 순간, 같은 네트워크의 누구나 키 없이 모델을 쓸 수 있게 된다. 브라우저를 통한 공격도 있다. 서버가 내 컴퓨터에만 열려 있어도, 내가 연 웹페이지의 스크립트가 로컬 서버로 요청을 보내게 만드는 방식이다. DNS 리바인딩이 그런 수법이고, CORS 설정이 느슨하면 길이 열린다. v1.0.0 문서 기준으로 허용 출처(--cors-origins)의 기본값은 전체 허용이다.
1.0.0은 이 부분을 손봤다. 릴리스 노트에 따르면 CORS 출처 처리와 DNS 리바인딩 방어를 고쳤고, 서버가 대신 외부 주소를 가져오는 기능에서 내부망 주소를 긁어 오게 만드는 SSRF를 막았으며, 브라우저에서 하위 서버 인스턴스에 직접 접근하는 것을 차단했다. 기본값이 닫힌 옵션도 둘 생겼다. 루프백이 아닌 주소에서 API 키 없이 도구나 MCP 서버를 쓰려면 --allow-unauthenticated-tools를, 이미지 주소 같은 미디어 URL이 로컬·사설 주소를 가리키는 것을 허용하려면 --media-allow-private-urls를 직접 켜야 한다. 문서는 앞의 옵션에 신뢰할 수 있는 네트워크에서만 쓰라고 적었다.
실무 원칙은 단순하다. 혼자 쓸 때는 기본 주소를 그대로 둔다. 다른 기기에서 접속해야 하면 --api-key를 설정하고 --cors-origins를 좁힌다. 인터넷에 직접 여는 것은 엔진의 설정만으로 감당할 일이 아니다.
8. 자주 묻는 질문
Q. llama.cpp를 쓰면 무료인가? 엔진은 MIT 라이선스의 오픈소스이고 비용이 없다. 드는 것은 내 컴퓨터의 전기와 하드웨어다. 모델에는 각자의 라이선스가 따로 있으며, 내려받을 수 있다고 해서 모든 용도에 쓸 수 있는 것은 아니다.
Q. 인터넷 없이 돌아가나? 모델 파일을 한 번 받은 뒤에는 인터넷 연결 없이 실행된다. 입력한 내용이 외부 서버로 나가지 않는다는 점이 로컬 실행을 택하는 주된 이유다.
Q. Ollama를 쓰고 있는데 llama.cpp를 따로 설치해야 하나? 아니다. Ollama 안에 엔진이 들어 있다. 옵션을 세밀하게 조정하거나 최신 기능을 먼저 쓰고 싶을 때 llama.cpp를 직접 설치한다.
Q. GPU가 없어도 되나? 된다. 처음부터 GPU 없는 컴퓨터를 겨냥해 만든 엔진이다. 다만 CPU만으로는 느리므로 40억~80억 파라미터 정도의 작은 모델이 현실적이다.
Q. Q4_K_M과 Q8_0 중 무엇을 받아야 하나? 메모리가 넉넉하면 비트가 높은 쪽이 원본에 가깝다. Q8_0은 Q4_K_M보다 파일이 약 1.7배 크다. 같은 메모리라면 큰 모델을 낮은 비트로 돌릴지 작은 모델을 높은 비트로 돌릴지의 선택이 되는데, 정답은 과제마다 다르다. llama.cpp의 기본값은 Q4_K_M이다.
Q. 1.0.0으로 올리면 기존 GGUF 파일을 다시 받아야 하나? 릴리스 노트에 GGUF 형식을 바꿨다는 항목은 없다. 1.0.0에서 깨지는 것은 C API와 일부 명령줄 옵션이다.
Q. 1.0이면 이제 완성됐다는 뜻인가? 아니다. 인터페이스를 함부로 깨지 않겠다는 약속이다. 저장소에는 1.0.0 이후에도 하루에 여러 개씩 나이틀리 빌드가 올라오고 있고, 2026년 11월 15일 기준 빌드 번호는 b12425까지 갔다.
Q. 휴대전화에서도 도나? 프로젝트는 안드로이드와 iOS용 빌드를 배포하고, 스냅드래곤과 아드레노 GPU용 백엔드가 있다. 휴대전화의 메모리 한계 때문에 돌릴 수 있는 모델은 작다.
9. 남은 것과 확인되지 않은 것
| 항목 | 확인된 것 | 확인되지 않은 것 |
|---|---|---|
| 지원 아키텍처 수 | 프로젝트 팀이 150개 이상이라고 적었다 | 목록을 직접 세지 않았다 |
| 제거된 함수 | 35개라는 개수와 llama_set_warmup | 35개 각각의 이름 |
| 프로젝트 나이 | 저장소 생성일 기준 3년 8개월 | 발표 글의 3.5년이 어느 날짜를 기준으로 한 것인지 |
| FP8 KV 캐시 | 옵션 이름과 기본값(f16), 절반이라는 바이트 계산 | 품질·속도 영향. 애플 GPU에서 실행에 실패했다는 보도는 한 매체의 시험이다 |
| 사양별 크기 표 | 가중치당 비트 수와 8B·70B 실측 | 여유 20%는 어림이며 실측이 아니다 |
| Ollama | llama.cpp와 MLX를 함께 싣는다는 것 | 1.0.0 엔진을 실은 버전이 나왔는지 |
| 버전 규칙 | 공개 C API 기준의 메이저·마이너·패치 | 서버 REST API 변경을 어떻게 셀지의 세부. 저장소의 release.md는 예전 내용이 남아 있다 |
| 엔진 간 속도 | 각 프로젝트가 내세우는 목표 | 같은 조건의 독립 비교 |
| 위키백과 | 2026년 11월 16일 확인 시 안정 버전을 0.9.0으로 표기 | 갱신 시점 |
가중치를 줄이는 원리와 4비트의 의미는 「모델 양자화란」에서, 기기 안에서 모델을 돌리는 흐름 전반은 「온디바이스 AI란」에서, 내려받을 수 있는 모델과 라이선스의 구분은 「오픈웨이트 모델이란」에서, 전체 크기에 비해 적은 계산으로 도는 모델 구조는 「MoE(전문가 혼합)란」에서 다뤘다.
출처
- GitHub ggml-org/llama.cpp — v1.0.0 릴리스 노트 (2026-11-13)
- 허깅페이스 블로그(ggml-org) — llama.cpp v1.0.0 발표 (2026-11-13)
- GitHub ggml-org/llama.cpp PR #30565 — llama : prune (2026-11-12 병합)
- GitHub ggml-org/ggml 토론 #1579 — releases and versioning of ggml-org projects (2026-08-07)
- llama.cpp README (v1.0.0 태그) — 설치·실행·지원 백엔드
- llama.cpp docs/release.md (v1.0.0 태그) — 버전 규칙
- llama.cpp tools/server/README.md (v1.0.0 태그) — 서버 옵션과 기본값
- llama.cpp tools/quantize/README.md (v1.0.0 태그) — 양자화 종류별 크기
- llama.cpp docs/build.md · docs/docker.md (v1.0.0 태그) — 빌드와 도커 이미지
- ggml docs/gguf.md — GGUF 형식 명세와 파일명 규칙
- 위키백과(영어) — Llama.cpp
- GitHub ollama/ollama — 릴리스 노트 (v0.40.0, 2026-09-25 외)
- LM Studio 문서 — 앱 개요(지원 엔진과 플랫폼)
- GitHub vllm-project/vllm — README
- GitHub ml-explore/mlx — README
- tbreak — llama.cpp 1.0 stable release (2026-11-13)
- 파스콸레 필리테리 — llama.cpp 1.0: stable API and ggml (2026-11-13)
- DEV 커뮤니티 — llama.cpp just hit 1.0 (2026-11-14)
- 시스템디자인 아카데미 — llama.cpp v1 explained (2026-11-14)