AI 추론 칩이란 — 학습용 GPU와 다른 칩을 따로 만드는 이유
An AI inference chip is a processor built to run a finished model rather than to create one. Training happens a handful of times per model and needs flexibility across many mathematical operations; inference happens on every single user request and needs throughput, low latency and — above all — efficiency per watt, because electricity is the recurring cost. That difference in workload is why companies that buy GPUs for training increasingly design their own silicon for inference. The trade-off is generality: a narrower chip is cheaper to run but harder to repurpose when model architectures change, and memory bandwidth rather than raw compute is usually the binding constraint
AI 추론 칩은 모델을 만드는 칩이 아니라 이미 만들어진 모델을 돌리는 데 특화한 칩이다. 학습은 모델 하나당 몇 번뿐이고 여러 연산을 유연하게 처리해야 하지만, 추론은 사용자 요청이 들어올 때마다 매번 일어나고 처리량·지연·전력 효율이 전부다. 전기요금이 반복 원가가 되기 때문이다. 그래서 학습용으로 GPU를 사는 회사들이 추론용으로는 자체 칩을 설계하는 흐름이 생겼다. 대가는 범용성이다 — 좁게 설계한 칩은 싸게 돌지만 모델 구조가 바뀌면 다시 쓰기 어렵고, 실제 병목은 연산 성능이 아니라 메모리 대역폭인 경우가 많다
3줄 요약
- 구분 — 학습은 모델을 만들고 추론은 모델을 돌린다. 횟수와 요구 조건이 근본적으로 다르다
- 지표 — 추론에서 중요한 것은 최고 성능이 아니라 와트당 처리량이다. 전기가 반복 원가이기 때문이다
- 한계 — 좁게 설계할수록 효율이 오르지만 모델 구조가 바뀌면 못 쓴다. 병목은 대개 메모리 대역폭이다
핵심 질문
- AI 추론 칩이 학습용 GPU랑 뭐가 달라
- **해야 할 일의 성격이 다르다.** 학습은 모델의 파라미터를 조금씩 고쳐 나가는 과정이라 **순전파와 역전파를 모두** 돌려야 하고, 연구 중에 구조를 바꿔가며 실험하므로 **유연성**이 필요하다. 추론은 이미 고정된 파라미터에 입력을 넣어 출력을 받는 일이라 **순전파만** 하면 되고, 구조가 바뀌지 않으므로 **그 구조에만 맞춰 회로를 짤 수 있다.** 이 차이가 설계를 갈라놓는다. 학습용 GPU는 '무엇이 올지 모르니 웬만한 건 다 되게' 만들고, 추론 칩은 '이 일만 최대한 싸게' 만든다. 횟수도 다르다 — 모델 하나를 만드는 학습은 몇 번뿐이지만, 그 모델은 **하루에 수억 번** 돌아간다. 이 지면은 「AI 학습과 추론 차이 — 같은 GPU가 두 번 팔리는 이유」에서 이 구분의 사업적 의미를 다뤘다.
- 왜 와트당 성능을 자꾸 얘기해
- **추론에서는 전기요금이 원가이기 때문**이다. 학습 비용은 모델을 만들 때 한 번 들어가는 개발비에 가깝다. 반면 추론 비용은 사용자가 질문할 때마다 발생하는 **변동비**다. 그래서 추론 칩의 경쟁은 '가장 빠른 칩'이 아니라 **'같은 전기로 몇 개를 처리하느냐'**에서 벌어진다. 데이터센터에는 애초에 **끌어올 수 있는 전력의 상한**이 있다는 점도 크다. 전력 공급이 고정된 건물 안에서는 와트당 처리량이 곧 **그 건물이 처리할 수 있는 총량**을 정한다. 칩을 더 사도 전기가 없으면 꽂을 수 없다. 이 지면은 「AI 데이터센터 전력이란 — 왜 메가와트가 아니라 기가와트로 세나」에서 그 상한의 크기를 다뤘다. 2026년 8월 오픈AI가 공개한 추론 칩 '할라피뇨'가 **700W로 1,200W·1,400W 제품을 앞섰다**고 발표한 것도 이 지표를 겨눈 것이다.
- 그럼 GPU는 필요 없어지는 거야
- **아니다. 나뉘는 것에 가깝다.** 이유는 세 가지다. 첫째, **학습은 여전히 GPU의 일**이다. 프론티어 모델을 만드는 대규모 클러스터는 유연성과 소프트웨어 생태계가 필요하고, 그 자리를 좁은 칩이 대체하기 어렵다. 둘째, **모델 구조가 계속 바뀐다.** 추론 칩을 특정 구조에 맞춰 최적화했는데 1년 뒤 지배적인 구조가 달라지면 그 최적화가 무용해진다. 설계·검증·양산에 걸리는 시간이 모델 세대 교체보다 길면 칩이 나올 때 이미 늦는다. 셋째, **소프트웨어**다. 칩이 아무리 좋아도 그 위에서 도는 컴파일러·커널·프레임워크가 없으면 실제 성능이 안 나온다. 실제로 오픈AI는 자체 칩을 공개하면서 **엔비디아 칩 구매를 계속하겠다**고 밝혔다. 사는 것과 만드는 것이 같이 간다.
AI 칩이라고 하면 보통 한 종류를 떠올린다. 그런데 실제로는 두 가지 일이 있고, 그 둘은 요구 조건이 다르다.
모델을 만드는 일(학습)과 만들어진 모델을 돌리는 일(추론)이다.
추론 칩은 뒤쪽만 한다. 그래서 앞쪽을 포기하고 얻는 것이 있다.
1. 학습과 추론 — 무엇이 다른가
| 항목 | 학습(training) | 추론(inference) |
|---|---|---|
| 하는 일 | 파라미터를 고쳐 나간다 | 고정된 파라미터로 답을 낸다 |
| 연산 | 순전파 + 역전파 | 순전파만 |
| 빈도 | 모델당 몇 번 | 요청마다 매번 |
| 비용의 성격 | 개발비에 가깝다 | 변동비에 가깝다 |
| 가장 중요한 것 | 유연성·대규모 병렬 | 와트당 처리량·지연 |
| 구조 변경 | 실험 중에 자주 바뀐다 | 배포 뒤에는 고정 |
핵심은 마지막 줄이다. 학습 중에는 무엇이 올지 모르고, 추론 중에는 무엇이 올지 안다.
무엇이 올지 알면 그것만 하도록 회로를 짤 수 있다. 범용 프로세서가 하는 '이것도 저것도 되게 해두는' 비용을 안 내도 된다.
2. 왜 하필 '와트당'인가
추론 칩의 성능을 말할 때 최고 속도가 아니라 와트당 처리량을 앞세우는 데는 두 가지 이유가 있다.
① 전기가 반복 원가다.
학습에 드는 전기는 모델을 만들 때 한 번 들어간다. 추론에 드는 전기는 사용자가 질문할 때마다 나간다. 서비스가 커질수록 이 항목만 커진다.
② 데이터센터에는 전력 상한이 있다.
건물 하나가 끌어올 수 있는 전력은 정해져 있다. 칩을 더 사도 꽂을 전기가 없으면 소용이 없다. 이 상황에서 와트당 처리량은 곧 그 건물의 총 처리 능력을 정하는 숫자가 된다.
| 조건 | 와트당 처리량 1.0 | 와트당 처리량 1.7 |
|---|---|---|
| 같은 전력 예산에서 | 100 처리 | 170 처리 |
| 같은 처리량을 내려면 | 전력 100 | 전력 59 |
2026년 8월 25일 오픈AI가 공개한 추론 칩 할라피뇨의 발표 수치가 이 지표를 정면으로 겨눴다 — 와트당 처리량 1.5~1.9배, 그리고 700W 부품이 1,200W·1,400W 제품을 앞섰다는 벤치마크다. 이 지면은 「오픈AI 자체 칩 '할라피뇨' 공개 — 700W가 1,200W 엔비디아를 앞섰다」에서 그 발표를 다뤘다.
3. 진짜 병목은 연산이 아니라 메모리다
추론에서 자주 오해되는 지점이 하나 있다. 칩이 느린 이유가 계산이 느려서가 아닌 경우가 많다.
큰 언어 모델을 돌릴 때 칩은 매 단계마다 모델의 가중치를 메모리에서 읽어와야 한다. 계산 자체는 순식간에 끝나도 읽어오는 속도가 못 따라가면 연산 유닛은 놀고 있는다.
| 상황 | 무엇이 한계인가 |
|---|---|
| 한 사용자의 요청을 빠르게 답하기 | 메모리 대역폭 |
| 많은 요청을 한꺼번에 묶어 처리하기 | 연산 성능 쪽으로 이동 |
그래서 추론 칩의 성패는 어떤 메모리를 얼마나 넓게 붙였느냐에 크게 걸린다. HBM 세대가 바뀔 때마다 AI 칩의 성능이 껑충 뛰는 이유이기도 하다. 실제로 할라피뇨의 벤치마크를 두고 분석가들이 "비교가 불완전하다"고 지적한 근거도 할라피뇨가 더 새로운 HBM4를 쓴다는 점이었다.
이 지면은 「HBM이란 — 메모리를 쌓아 올려 만든 AI의 병목」과 「HBM4와 HBM3E 차이: 대역폭 2배를 만든 구조 전환」에서 이 부분을 다뤘다.
4. 좁게 만들면 얻는 것과 잃는 것
| 얻는 것 | 잃는 것 | |
|---|---|---|
| 좁은 칩 (추론 전용) | 와트당 효율·단위 원가·지연 | 범용성 — 구조가 바뀌면 못 쓴다 |
| 넓은 칩 (범용 GPU) | 어떤 모델이든 돌린다·생태계 | 효율·전력·단가 |
잃는 쪽이 실제로 문제가 되는 지점은 시간이다.
칩 하나를 설계하고 검증하고 양산까지 가는 데 걸리는 시간은 짧지 않다. 그 사이에 지배적인 모델 구조가 바뀌면, 그 구조에 맞춰 최적화한 부분이 무용해진다. 모델 세대 교체 속도가 칩 개발 주기보다 빠르면 좁은 칩은 태어날 때 이미 늦는다.
여기에 하나 더 있다. 소프트웨어다. 칩이 좋아도 그 위에서 도는 컴파일러·커널·프레임워크가 성숙하지 않으면 종이 위의 성능이 실제로 나오지 않는다. 엔비디아가 오래 지켜온 자리의 상당 부분이 하드웨어가 아니라 이 층에 있다.
5. 그래서 지금 벌어지는 일 — 사면서 만든다
2026년 들어 뚜렷해진 모양은 '대체'가 아니라 분업이다.
| 구간 | 누가 하나 |
|---|---|
| 프론티어 모델 학습 | 범용 GPU 대규모 클러스터 |
| 서비스 추론 | 점점 자체 설계 칩으로 |
오픈AI는 할라피뇨를 내놓으면서 엔비디아 칩 구매를 계속하겠다고 밝혔다. 모순처럼 들리지만 위의 표를 보면 자연스럽다. 만드는 일은 계속 사서 하고, 매일 반복되는 원가 구간만 떼어내 직접 만든 칩으로 돌리는 것이다.
이 구조가 엔비디아에 주는 압력은 '시장을 뺏긴다'가 아니라 '가장 부피 큰 구간에서 받던 값이 깎인다' 쪽이다. CNBC는 이를 마진에 대한 위협으로 정리했다.
같은 주에 나온 엔비디아의 숫자가 그 긴장을 그대로 보여준다 — 2분기 매출 962억 2000만 달러, 데이터센터 890억 2000만 달러로 전체의 약 92%, 3분기 가이던스 1080억 달러. 사상 최대인데 시간외 주가는 밀렸다.
6. 자주 묻는 것
Q. 내 컴퓨터나 휴대폰에 든 AI 칩도 추론 칩인가? 그렇다. 기기 안에서 모델을 돌리는 칩(NPU 등)은 모두 추론용이다. 학습을 기기에서 하지는 않는다. 이 지면은 「온디바이스 AI란 — 인터넷 없이 도는 모델이 가능해진 이유」에서 그쪽을 다뤘다.
Q. 추론 칩이 싸지면 AI 서비스 요금도 내려가나? 방향은 그렇지만 자동은 아니다. 요금은 원가만이 아니라 수요·경쟁·모델 크기에 함께 달려 있다. 실제로 2026년 8월에는 가격을 내린 회사(GPT-5.6 Sol 출력 30→20달러)와 올린 회사(딥시크 출력 최대 371% 인상)가 같은 달에 있었다. 「AI 토큰 가격이란 — 출력이 입력보다 5배 비싼 이유」에서 요금 구조를 다뤘다.
Q. 추론 칩은 ASIC인가? 특정 용도에 맞춰 고정한 정도에 따라 스펙트럼이 있다. 한 모델에만 맞춘 완전 고정형부터, 할라피뇨처럼 범용 LLM 추론 가속기로 소개되는 중간 형태까지 있다. 좁을수록 효율이 높고 수명이 짧다.
7. 확인하지 못한 것
- 설계 트레이드오프 — 본문의 범용성·개발 주기 서술은 반도체 설계의 일반 원리이며 특정 제품의 내부 사양을 검증한 것이 아니다.
- 학습 대 추론의 누적 연산 비율 — 신뢰할 수 있는 출처로 확인하지 못해 본문에 비율을 쓰지 않았다.
- 회사별 자체 칩 현황 — 개별 기업의 성능·배치 규모를 교차 확인하지 않아 수치를 쓰지 않았다.
- 할라피뇨 성능 — 오픈AI 자체 측정값이며 독립 재현 결과가 없다.
- 메모리 병목 — 널리 받아들여지는 정리이나 모델 크기·배치 조건에 따라 달라진다.
출처
- CNBC — OpenAI's Jalapeño AI chip brings new 'threat' to Nvidia margins as custom silicon gains ground
- The Decoder — OpenAI's first custom chip "Jalapeño" reportedly beats Nvidia's Blackwell and Rubin in inference benchmarks
- SemiAnalysis — OpenAI Jalapeño: Better Than Nvidia Blackwell
- NVIDIA Newsroom — NVIDIA Announces Financial Results for Second Quarter Fiscal 2027
- 24/7 Wall St. — OpenAI's Custom Chip Embarrasses Nvidia, While Company Vows to Keep Buying From It
- Deloitte — 반도체 'AI 슈퍼사이클'이 제기하는 딜레마 (2026년 8월 1주차)