오픈AI 자체 칩 '할라피뇨' 공개 — 700W가 1,200W 엔비디아를 앞섰다
OpenAI unveiled Jalapeño, its first in-house AI chip, on August 25, 2026. It is an inference-only accelerator — it runs models but does not train them. OpenAI says it delivers 1.5 to 1.9 times more AI work per watt at peak throughput across all three models tested, with 1.7 to 3.6 times lower end-to-end latency than the best commercially available systems, and 2.1 to 4.1 times higher performance on interactive workloads. On a public benchmark a 700-watt Jalapeño part beat Nvidia accelerators rated at 1,200 and 1,400 watts. Analysts noted the comparison is incomplete because Jalapeño uses newer HBM4 memory. Deployment in OpenAI's own infrastructure is planned for the end of 2026, and the company says it will keep buying Nvidia chips
오픈AI가 2026년 8월 25일 첫 자체 AI 칩 ‘할라피뇨’를 공개했다. 학습이 아니라 추론만 담당하는 칩이다. 회사가 밝힌 성능은 시험한 세 모델 모두에서 최대 처리량 기준 와트당 처리량 1.5~1.9배, 전 구간 지연 1.7~3.6배 감소, 대화형 작업에서는 2.1~4.1배 향상이다. 공개 벤치마크에서는 700W짜리 할라피뇨가 1,200W·1,400W급 엔비디아 가속기를 앞섰다. 다만 할라피뇨가 더 새로운 HBM4 메모리를 쓰기 때문에 이 비교가 불완전하다는 지적이 함께 나왔다. 자사 인프라 배치는 2026년 말 목표이고, 오픈AI는 엔비디아 칩 구매를 계속하겠다고 밝혔다
3줄 요약
- 정체 — 추론 전용 범용 LLM 가속기다. 모델을 학습시키지는 않고 돌리기만 한다
- 수치 — 와트당 처리량 1.5~1.9배, 대화형 작업 2.1~4.1배. 700W 부품이 1,200W·1,400W 제품을 앞섰다
- 단서 — 할라피뇨는 HBM4를 쓴다. 같은 HBM4를 쓰는 엔비디아 베라 루빈과 비교해야 공정하다는 지적이 있다
핵심 질문
- 오픈AI 할라피뇨 칩이 뭐야
- **오픈AI가 직접 설계한 첫 AI 칩**이고, **추론 전용**이다. AI 칩의 일은 크게 둘로 나뉜다 — 모델을 만드는 **학습(training)**과 만들어진 모델을 돌려 답을 내는 **추론(inference)**이다. 할라피뇨는 뒤쪽만 한다. 특정 모델에만 맞춘 칩이 아니라 **범용 LLM 추론 가속기**로 소개됐다. 오픈AI가 공개한 성능은 이렇다. 시험한 **세 모델 전부**에서 최대 처리량 기준 **와트당 처리량 1.5~1.9배**, 전 구간 지연 **1.7~3.6배** 감소, 사람이 실시간으로 주고받는 **대화형 작업에서는 2.1~4.1배** 향상이다. 가장 눈에 띄는 비교는 전력이다 — 공개 벤치마크에서 **700W짜리 할라피뇨**가 **1,200W·1,400W**로 표기된 엔비디아 가속기보다 나은 결과를 냈다.
- 그럼 엔비디아가 밀린 거야
- **이 벤치마크만으로는 그렇게 말할 수 없다.** 이유는 메모리다. 할라피뇨는 **HBM4**를 쓰는데 비교 대상이 된 엔비디아 제품은 그보다 이전 세대 메모리를 쓴다. 분석가들은 이 비교를 '다소 불완전하고 불공정하다'고 지적했고, **공정한 상대는 같은 HBM4를 쓰는 엔비디아 베라 루빈**이라고 봤다. 또 하나 — 할라피뇨는 **추론만** 한다. 프론티어 모델을 학습시키는 일은 여전히 엔비디아 GPU의 몫이고, 그 시장이 엔비디아 매출의 큰 축이다. 실제로 오픈AI는 자체 칩을 내놓으면서 **엔비디아 칩을 계속 사겠다**고 밝혔다. 이 지면은 「HBM4와 HBM3E 차이: 대역폭 2배를 만든 구조 전환」에서 메모리 세대 차이를 다뤘다.
- 이게 왜 큰 뉴스야
- **AI 회사가 칩을 사는 쪽에서 만드는 쪽으로 한 칸 옮겨 앉았기 때문**이다. 지금까지 AI 경쟁의 축은 '누가 더 똑똑한 모델을 만드나'였다. 그 축이 **칩·메모리·데이터센터·전력**으로 넓어지고 있고, 할라피뇨는 그 이동을 보여주는 사례다. 돈으로 보면 이렇다. 추론은 **한 번 만든 모델을 수억 번 돌리는 일**이라 전력 비용이 그대로 원가가 된다. 와트당 처리량이 1.5~1.9배라는 것은 같은 전기로 1.5~1.9배를 처리한다는 뜻이고, 규모가 커질수록 이 차이가 복리로 쌓인다. 공교롭게도 이 발표 다음 날 엔비디아가 **2분기 매출 962억 달러·3분기 가이던스 1080억 달러**를 냈다. 실적은 사상 최대인데 시간외 주가는 밀렸다. 이 지면은 「엔비디아 2분기 매출 962억 달러 (8월 26일)」에서 그 숫자를 따로 다뤘다.
오픈AI가 8월 25일(현지 시각) 첫 자체 AI 칩 '할라피뇨(Jalapeño)'를 공개했다.
이 칩은 모델을 학습시키지 않는다. 이미 만들어진 모델을 돌리는 추론만 한다.
그런데 그 좁은 일에서 나온 숫자가 크다. 700W짜리가 1,200W짜리를 이겼다.
1. 오픈AI가 밝힌 성능
| 항목 | 발표된 수치 | 비교 대상 |
|---|---|---|
| 와트당 처리량 (최대 처리량 기준) | 1.5~1.9배 | 상용 최고 시스템 |
| 전 구간 지연 | 1.7~3.6배 감소 | 상용 최고 시스템 |
| 대화형 작업 성능 | 2.1~4.1배 | 상용 최고 시스템 |
| 공개 벤치마크 전력 | 700W | 엔비디아 1,200W·1,400W |
회사는 이 결과가 시험한 세 모델 전부에서 나왔다고 밝혔다.
가장 직관적인 숫자는 마지막 줄이다. 표기 전력이 절반 수준인 부품이 더 나은 결과를 냈다.
2. 학습과 추론 — 왜 추론만 만들었나
| 구분 | 학습(training) | 추론(inference) |
|---|---|---|
| 하는 일 | 모델을 만든다 | 만들어진 모델을 돌린다 |
| 빈도 | 모델당 몇 번 | 사용자 요청마다 매번 |
| 요구 사항 | 초대형 클러스터·유연성 | 처리량·지연·전력 효율 |
| 비용의 성격 | 개발비에 가깝다 | 원가에 가깝다 |
추론이 특별한 이유는 횟수다. 모델은 한 번 만들지만, 그 모델은 하루에 수억 번 돌아간다.
그래서 추론에서는 전력 1와트가 곧 돈이다. 와트당 처리량이 1.5~1.9배라는 말은 같은 전기로 1.5~1.9배를 처리한다는 뜻이고, 규모가 커질수록 이 차이가 그대로 원가 차이로 쌓인다.
추론 전용 칩을 만드는 것이 학습용 GPU를 만드는 것보다 쉬운 이유도 여기 있다. 하는 일이 좁으면 그 일에만 맞춰 설계할 수 있다. 이 지면은 「AI 학습과 추론 차이 — 같은 GPU가 두 번 팔리는 이유」에서 이 구분을 다뤘고, 오늘 지면의 「AI 추론 칩이란」에서 칩 설계 쪽을 더 깊이 다뤘다.
3. 그런데 이 비교에는 단서가 붙는다
분석가들이 곧바로 지적한 것은 메모리 세대다.
| 항목 | 할라피뇨 | 비교 대상 엔비디아 제품 |
|---|---|---|
| 메모리 | HBM4 | 이전 세대 |
| 공정한 상대 | — | 베라 루빈 (HBM4) |
HBM은 AI 칩의 병목이다. 연산 성능이 아무리 높아도 데이터를 그만큼 빨리 넣어주지 못하면 소용이 없다. HBM4는 대역폭이 이전 세대의 두 배 수준이라, 같은 설계라도 메모리 세대가 다르면 결과가 달라진다.
그래서 분석가들은 이번 비교를 '다소 불완전하고 불공정하다'고 적었고, 제대로 된 상대는 같은 HBM4를 쓰는 엔비디아 베라 루빈이라고 봤다. 이 지면은 「HBM이란 — 메모리를 쌓아 올려 만든 AI의 병목」과 「HBM4와 HBM3E 차이: 대역폭 2배를 만든 구조 전환」에서 그 구조를 다뤘다.
또 하나 — 성능 수치는 오픈AI가 스스로 측정해 발표한 값이다. 독립 기관의 재현 결과는 아직 없다.
4. 사면서 만든다
이 발표의 이상한 점은 결론에 있다. 오픈AI는 자체 칩을 내놓으면서 엔비디아 칩 구매를 계속하겠다고 밝혔다.
모순이 아니다. 나눠 보면 이렇게 정리된다.
- 학습은 계속 산다 — 프론티어 모델을 만드는 일은 여전히 대규모 GPU 클러스터의 몫이다.
- 추론은 직접 만든다 — 매일 반복되는 원가 구간만 떼어내 자체 칩으로 돌린다.
- 배치 시점 — 자사 인프라 배치는 2026년 말 목표다.
CNBC는 이 구도를 '엔비디아의 마진에 대한 위협'으로 정리했다. 엔비디아를 시장에서 밀어내는 것이 아니라, 가장 반복적이고 부피 큰 구간을 자체 칩이 가져가면서 엔비디아가 그 구간에서 받던 값이 깎인다는 이야기다.
5. 하루 뒤 나온 엔비디아의 답
공교롭게도 이 발표 다음 날인 8월 26일, 엔비디아가 2027 회계연도 2분기 실적을 냈다.
| 항목 | 수치 |
|---|---|
| 2분기 매출 | 962억 2000만 달러 (+106% YoY) |
| 데이터센터 | 890억 2000만 달러 (+117% YoY) |
| 3분기 가이던스 | 1080억 달러 ±2% |
| 시간외 주가 | 약 1.3% 하락 |
사상 최대 실적에 예상을 웃도는 가이던스인데 주가는 밀렸다. 이 두 뉴스가 하루 차이로 붙어 있다는 것 자체가 지금 AI 반도체 시장이 무엇을 걱정하고 있는지를 보여준다. 「엔비디아 2분기 매출 962억 달러 (8월 26일)」에서 그 실적을 따로 다뤘다.
6. 확인하지 못한 것
- 공개 날짜 — 소스에 따라 8월 25일과 26일로 갈린다. 다수가 적은 25일을 택했다.
- 시험 조건 — '세 모델'이 무엇인지, 벤치마크 이름과 측정 조건을 확인하지 못했다.
- 비교 대상 제품명 — 1,200W·1,400W라는 표기 전력만 확인했고 정확한 모델명을 확정하지 못했다.
- 제조 정보 — 파운드리와 공정 노드를 확인하지 못했다.
- 독립 검증 — 성능 수치는 오픈AI 자체 측정값이며 제3자 재현 결과가 없다.
- 다음 확인 지점 — 2026년 말 실제 배치다. 벤치마크 수치가 자사 데이터센터에서 재현되는지가 이 칩의 진짜 시험이다.
출처
- CNBC — OpenAI's Jalapeño AI chip brings new 'threat' to Nvidia margins as custom silicon gains ground
- The Decoder — OpenAI's first custom chip "Jalapeño" reportedly beats Nvidia's Blackwell and Rubin in inference benchmarks
- SemiAnalysis — OpenAI Jalapeño: Better Than Nvidia Blackwell
- 24/7 Wall St. — OpenAI's Custom Chip Embarrasses Nvidia, While Company Vows to Keep Buying From It
- ForkLog — OpenAI says Jalapeño outperforms Nvidia Blackwell in tests
- Stocktwits — OpenAI's Jalapeno Chip Is Outperforming Nvidia, AMD And Google Chips, SemiAnalysis Says