**GPU는 무엇이든 하는 병렬 계산기, NPU는 신경망 계산 하나만 하는 전용기다.** | 구분 | GPU | NPU | |---|---|---| | 원래 용도 | 그래픽 → 범용 병렬 연산 | 신경망 연산 전용 | | 강점 | 학습·추론 모두, 새 모델 구조에도 유연 | 추론의 전력·비용 효율 | | 약점 | 전력·가격 부담 | 새 연산 구조 대응이 느릴 수 있음 | | 소프트웨어 | 엔비디아 CUDA 등 성숙 | 회사마다 다름, 생태계 작음 |

NPU 노트북 필요한가

**AI 기능을 기기 안에서 저전력으로 돌릴 때 쓰인다. 없으면 CPU·GPU가 대신하지만 배터리를 더 쓴다.** | 쓰임 | 예 | |---|---| | 화상회의 | 배경 흐림, 잡음 제거, 시선 보정 | | 사진·영상 | 피사체 분리, 화질 개선 | | 문서 | 기기 안 요약·검색 | | 기준 예시 | 마이크로소프트 코파일럿+ PC는 40 TOPS 이상 NPU 요구(2024) |

**데이터센터용과 엣지(기기)용으로 나뉜다.** | 구분 | 기업 | 대표 제품군 | |---|---|---| | 데이터센터 추론 | 리벨리온 | 아톰, 리벨 | | 데이터센터 추론 | 퓨리오사AI | 워보이, 레니게이드(RNGD) | | 데이터센터 추론 | 하이퍼엑셀 | 대형 언어모델 추론 전용 | | 엣지·기기 | 딥엑스, 모빌린트 | 카메라·로봇·산업기기용 |

NPU란 — GPU와 뭐가 다르고, 한국 AI 칩 회사들이 왜 여기에 걸었나

NPU(신경망처리장치)는 AI 신경망 계산, 즉 엄청난 양의 곱셈과 덧셈을 낮은 정밀도로 처리하는 일만 하도록 만든 반도체다. GPU도 같은 계산을 하지만 그래픽과 범용 병렬 연산까지 할 수 있게 설계돼 있어 그만큼 회로와 전력이 더 든다. NPU는 그 범용성을 버리는 대신 이미 학습된 모델을 돌리는 '추론'을 전력 대비 싸고 빠르게 처리한다. 그래서 스마트폰·노트북의 온디바이스 AI와 데이터센터 추론 서버에 들어간다. 한국의 리벨리온·퓨리오사AI·딥엑스 등이 이 시장에 집중하고, 2026년 10월 AMD는 국산 NPU를 자사 GPU·CPU와 함께 쓰는 실증을 정부와 추진하기로 했다

AI 칩이라고 하면 엔비디아 GPU부터 떠올린다. 그런데 요즘 스마트폰과 노트북, 그리고 데이터센터 한쪽에는 다른 이름의 칩이 들어간다. NPU다. 2026년 10월 7일 리사 수 AMD 회장이 국내 AI 반도체 기업 14곳을 만나 'AMD CPU·GPU와 국산 NPU를 함께 쓰는 인프라'를 실증하기로 하면서(「리사 수 AMD 회장, 국산 AI 칩 14곳 만났다」) 이 단어가 다시 앞에 나왔다. NPU가 무엇이고, GPU와 정확히 무엇이 다르며, 한국 회사들이 왜 이 칩에 걸었는지 정리한다.

1. NPU는 무엇을 하는 칩인가

NPU(Neural Processing Unit, 신경망처리장치)는 신경망 계산만 하도록 만든 반도체다. AI 모델이 답을 내는 과정은 결국 숫자 행렬끼리 곱하고 더하는 일을 수십억 번 반복하는 것이다. NPU는 이 '곱하고 더하기(MAC)' 회로를 칩에 빽빽하게 깔고, 데이터가 그 회로 사이를 최소한으로 오가도록 설계한다.

칩	비유	잘하는 일
CPU	무엇이든 하는 소수의 숙련공	복잡한 판단, 순서가 있는 작업, 작업 배분
GPU	같은 동작을 동시에 하는 수천 명의 작업자	그래픽, 대규모 병렬 계산, AI 학습·추론
NPU	한 공정만 하는 전용 생산라인	신경망 추론을 적은 전력으로

전용 칩이 범용 칩보다 효율이 좋은 이유는 간단하다. 쓰지 않는 기능에 회로와 전력을 쓰지 않기 때문이다. NPU는 보통 낮은 정밀도 숫자(8비트 정수, 8비트·4비트 부동소수점 등)를 주로 다룬다. 학습이 끝난 모델은 숫자를 덜 정밀하게 써도 답이 거의 달라지지 않아서, 숫자 하나를 작게 쓰면 같은 칩 면적과 전력으로 더 많은 계산을 할 수 있다.

2. GPU와 무엇이 다른가 — 학습은 GPU, 추론은 NPU가 노린다

AI 칩의 일은 크게 둘이다. 모델을 만드는 학습, 만든 모델을 돌려 답을 내는 추론이다.

구분	학습	추론
하는 일	데이터를 보며 모델의 숫자(가중치)를 고침	고정된 가중치로 답을 계산
빈도	모델당 한 번(수주~수개월)	사용자가 질문할 때마다 계속
요구	높은 정밀도, 유연성, 칩 수천~수만 개 연결	낮은 지연, 전력·비용 효율
주력 칩	GPU(엔비디아 등), 구글 TPU	GPU + NPU·추론 전용 칩

비교 항목	GPU	NPU
설계 철학	범용 병렬 연산	신경망 연산 전용
새 모델 구조 대응	빠름(소프트웨어로 대응)	칩 설계에 따라 느릴 수 있음
전력 대비 추론 효율	상대적으로 낮음	상대적으로 높음
소프트웨어 생태계	엔비디아 CUDA가 사실상 표준, AMD ROCm 추격	회사마다 따로, 생태계 작음
가격	높음	상대적으로 낮게 책정하는 경우가 많음

AI 서비스가 커질수록 돈은 학습보다 추론에서 더 많이 나간다. 챗봇 한 번 학습시키는 비용보다, 수억 명이 매일 질문하는 비용이 훨씬 크기 때문이다. 이 '추론 비용'을 줄이는 칩이 NPU의 존재 이유다. 같은 이유로 MoE처럼 계산량을 줄이는 모델 구조(「MoE(전문가 혼합)란」)도 함께 발전했다.

3. NPU는 어디에 들어가 있나

위치	예	하는 일
데이터센터	구글 TPU(2016년 공개, 2015년부터 내부 사용), 국산 추론 칩	검색·번역·챗봇 추론
스마트폰	애플 뉴럴 엔진(2017년 A11부터), 안드로이드 AP 내장 NPU	얼굴 인식, 사진 보정, 음성 인식
노트북	마이크로소프트 '코파일럿+ PC'는 초당 40조 회(40 TOPS) 이상 NPU 요구(2024년)	화상회의 효과, 기기 안 AI 기능
자동차·로봇·카메라	엣지 NPU	사물 인식, 실시간 판단

TOPS(초당 조 단위 연산 수)는 NPU 성능을 비교할 때 가장 많이 쓰는 숫자다. 다만 어떤 정밀도에서 잰 수치인지에 따라 같은 칩도 두세 배 차이가 나므로, 숫자만 비교해서는 안 된다. 스마트폰 제조사가 자체 설계 칩에 NPU를 넣는 이유는 「자체 설계 AP란」에서 다뤘다.

4. 한국 회사들은 왜 NPU에 걸었나

GPU 시장은 엔비디아가 칩과 소프트웨어(CUDA)를 함께 쥐고 있어 신생 기업이 정면으로 들어가기 어렵다. 추론용 NPU는 상대적으로 진입 여지가 있었다. 고객이 '가장 빠른 칩'보다 '같은 전력과 돈으로 더 많은 답을 내는 칩'을 찾기 시작했기 때문이다.

구분	기업	특징
데이터센터 추론	리벨리온	아톰, 차세대 리벨. 국내 클라우드·통신사와 협력
데이터센터 추론	퓨리오사AI	1세대 워보이, 2세대 레니게이드(RNGD)
대형 언어모델 추론	하이퍼엑셀	언어모델 추론 특화 설계
엣지	딥엑스, 모빌린트	카메라·로봇·산업기기 등 저전력 기기용

약점도 분명하다. 칩보다 소프트웨어가 어렵다. 개발자가 이미 CUDA로 짠 코드를 NPU에서 돌리려면 변환 도구와 최적화가 필요하고, 새 모델 구조가 나올 때마다 따라가야 한다. AMD와의 실증이 의미를 갖는 지점이 여기다. AMD의 오픈소스 소프트웨어 ROCm 생태계에 국산 NPU가 붙으면, '엔비디아 아니면 국산'이라는 양자택일 대신 한 데이터센터 안에서 GPU와 NPU를 섞어 쓰는 그림이 가능해진다.

5. 자주 묻는 질문

질문	답
NPU가 GPU를 대체하나	아니다. 학습과 새 모델 실험은 여전히 GPU가 주력이다. NPU는 추론에서 비용을 줄이는 보완재다
노트북 NPU 있으면 챗GPT가 빨라지나	아니다. 챗GPT 같은 클라우드 서비스는 서버에서 돈다. NPU는 기기 안에서 도는 AI 기능에만 쓰인다
TOPS가 높을수록 좋은가	같은 정밀도 기준이면 대체로 그렇지만, 메모리 대역폭과 소프트웨어 최적화가 실제 속도를 좌우한다
TPU도 NPU인가	넓게 보면 신경망 전용 칩이라는 점에서 같은 계열이다. 구글은 학습과 추론 모두에 쓴다

6. 남은 것과 확인되지 않은 것

NPU와 GPU의 효율 차이는 모델·정밀도·세대에 따라 크게 달라 하나의 배수로 말할 수 없다.
국산 NPU의 데이터센터 실제 도입 규모는 기업별 공개 범위가 달라 확인하지 못했다.
AMD와의 이기종 인프라 실증이 언제, 어떤 규모로 시작되는지는 11월 운영위원회 이후 공개된다.