AI 학습이랑 추론이 뭐가 달라

**모델이 바뀌느냐 아니냐**다. **학습**은 모델에게 정답이 붙은 데이터를 보여주고, 모델이 낸 답과 정답의 차이(오차)를 계산한 다음, 그 오차를 거꾸로 되짚어 내부 수치(가중치) 수십억~수조 개를 조금씩 고치는 과정이다. 이 되짚는 과정을 **역전파(backpropagation)**라고 한다. 같은 데이터를 여러 번 반복해서 본다. **추론**은 이미 고정된 가중치로 입력을 앞으로 한 번 통과시켜 답을 내는 것이다. 여기서는 **모델이 바뀌지 않는다.** 챗봇에 질문을 넣고 답을 받는 것이 전부 추론이다. 계산 구조로 보면 학습은 순방향 + 역방향이고 추론은 순방향뿐이다.

그럼 추론이 훨씬 싼 거 아니야?

**한 번은 훨씬 싸다. 총액은 그렇지 않다.** 이것이 이 구분의 핵심이다. 학습은 **유한한 프로젝트**다 — 몇 주에서 몇 달, 정해진 기간 동안 막대한 계산을 쓰고 끝난다. 추론은 **영구 설비**다 — 모델이 서비스되는 동안 질문이 들어올 때마다 계속 계산이 일어난다. 사용자가 늘고 서비스 기간이 길어질수록 추론 비용은 계속 쌓인다. 조사에 따라 차이가 있지만, **기업들이 AI 예산의 대부분을 추론에 쓴다**는 결과가 반복해서 나온다. 그래서 API 가격이 토큰 단위로 매겨지고, 출력 토큰이 입력 토큰보다 비싼 것도 추론 단계의 계산 구조 때문이다. 이 지면은 「AI 토큰 가격이란 — 출력이 입력보다 5배 비싼 이유」에서 그 구조를 다뤘다.

학습용 GPU랑 추론용 GPU가 따로 있어?

**같은 칩으로 둘 다 할 수 있지만, 잘하는 것이 다르다.** 학습은 **메모리 용량**이 먼저 걸린다. 가중치뿐 아니라 중간 계산값과 역전파에 쓸 값까지 함께 들고 있어야 해서, 여러 장을 묶어 한 덩어리처럼 쓰는 구성이 필요하다. 반면 추론은 **메모리 대역폭**이 먼저 걸린다. 토큰 하나를 만들 때마다 가중치를 메모리에서 연산부로 실어 날라야 하고, 그 전송 속도가 실제 처리량을 정한다. 곱셈 성능이 아무리 높아도 나르는 속도가 못 따라오면 놀게 된다. 그래서 추론 전용 칩을 따로 만드는 회사들이 생겼고, 엔비디아가 추론 칩 회사 그로크의 기술을 라이선스로 가져간 것도 이 흐름과 연결된다.

AI 학습과 추론 차이 — 같은 GPU가 두 번 팔리는 이유

학습(training)은 모델이 데이터를 보고 내부 수치를 고쳐 나가는 과정이고, 추론(inference)은 다 만들어진 모델이 질문에 답하는 과정이다. 학습은 오차를 되짚어 가중치를 고치는 역전파를 포함해 계산량이 크고, 추론은 앞으로 한 번만 통과하면 끝난다. 그래서 학습은 처리량이, 추론은 응답 지연이 기준이 된다. 학습은 한 번 크게 쓰고 끝나는 프로젝트지만 추론은 질문이 들어올 때마다 계속 돈이 나가는 설비다

AI 뉴스에서 같은 단어가 두 가지 뜻으로 쓰인다.

"AI에 돈이 든다"고 할 때, 그 돈이 모델을 만드는 데 드는 것인지 모델을 쓰는 데 드는 것인지는 전혀 다른 이야기다.

앞쪽이 학습(training), 뒤쪽이 추론(inference)이다.

1. 한 문장 정의

	학습	추론
하는 일	데이터를 보고 모델을 고친다	고정된 모델로 답을 낸다
모델이 바뀌나	바뀐다	안 바뀐다
계산 방향	순방향 + 역방향	순방향만
반복	같은 데이터를 여러 번	요청당 한 번

모델이 바뀌느냐가 두 과정을 가르는 기준이다.

2. 학습에서 실제로 일어나는 일

모델 안에는 가중치(weight)라고 부르는 수치가 수십억~수조 개 들어 있다. 학습은 이 수치를 조금씩 고쳐 나가는 과정이다.

한 번의 학습 단계는 이렇게 돈다.

순방향 — 입력을 넣어 모델이 답을 낸다
오차 계산 — 모델의 답과 정답의 차이를 잰다
역전파(backpropagation) — 그 오차가 어느 가중치에서 얼마나 왔는지 거꾸로 되짚는다
갱신 — 되짚어 얻은 값만큼 가중치를 조금 고친다

이 네 단계를 수백만~수억 번 반복한다.

계산량이 큰 이유는 3번 때문이다. 순방향은 앞으로 한 번 가면 끝이지만, 역전파는 그 경로를 되짚으며 각 가중치의 기여분을 모두 구해야 한다. 게다가 되짚으려면 순방향에서 나온 중간 계산값을 전부 들고 있어야 한다.

그래서 학습에서 먼저 걸리는 것은 메모리 용량이다. 가중치 + 중간 계산값 + 역전파용 값이 동시에 올라가야 한다. GPU 여러 장을 고속으로 묶어 한 덩어리처럼 쓰는 구성이 필요한 이유다.

기준이 되는 성능 지표는 처리량(throughput)이다 — 초당 몇 개의 예제를 넘길 수 있는가. 몇 초 늦어지는 것은 상관없다. 전체 학습이 3주 걸리느냐 4주 걸리느냐의 문제다.

3. 추론에서 일어나는 일

가중치는 이미 고정돼 있다. 입력을 넣고 앞으로 한 번 통과시키면 답이 나온다. 역전파가 없다.

계산량은 학습보다 훨씬 작다. 그런데 병목은 다른 곳에서 생긴다.

언어 모델이 문장을 만들 때는 토큰(단어 조각)을 하나씩 만든다. 그리고 토큰 하나를 만들 때마다 모델의 가중치를 메모리에서 연산부로 실어 날라야 한다.

여기서 병목이 생긴다.

자원	학습에서	추론에서
메모리 용량	최우선	가중치 + 대화 기록만큼
메모리 대역폭	중요	최우선
연산 성능	최우선	대역폭이 못 따라오면 남아돎

곱셈을 아무리 빨리 해도 나르는 속도가 못 따라오면 연산부가 놀게 된다. 추론 성능을 대역폭이 정한다는 말은 이 뜻이다.

기준이 되는 지표도 다르다. 추론에서는 응답 지연(latency)이 먼저다. 사용자가 화면 앞에서 기다리고 있기 때문이다. 3주냐 4주냐가 아니라 0.5초냐 2초냐의 문제다.

4. 돈이 나가는 방식이 정반대다

이 구분이 실제로 중요한 이유는 여기다.

	학습	추론
성격	유한한 프로젝트	영구 설비
기간	몇 주~몇 달, 끝이 있다	서비스가 살아 있는 내내
비용 곡선	한 번 크게 쓰고 끝	쓸수록 계속 쌓임
늘어나는 요인	모델 크기·데이터 양	사용자 수 × 질문 수 × 답변 길이

한 번의 계산만 놓고 보면 추론이 훨씬 싸다. 하지만 총액은 다르다.

학습은 끝난다. 추론은 끝나지 않는다. 사용자가 늘고 서비스가 오래갈수록 추론 비용은 계속 커진다.

그래서 최근 몇 년간 기업의 AI 지출 무게중심이 학습에서 추론으로 넘어갔다는 조사 결과가 반복해서 나온다.

AI 서비스 가격이 토큰 단위로 매겨지는 것도 이 때문이다. 이 지면은 「AI 토큰 가격이란 — 출력이 입력보다 5배 비싼 이유」에서 왜 출력 쪽이 더 비싼지를 다뤘다 — 요약하면 입력은 한 번에 훑을 수 있지만 출력은 토큰마다 모델을 다시 통과해야 하기 때문이다. 이 문서의 3절이 그 답의 원리다.

5. 그래서 칩이 갈라졌다

두 작업이 요구하는 것이 다르므로, 하드웨어도 갈라지기 시작했다.

방향	내용
범용 GPU	학습과 추론을 모두 할 수 있다. 학습 쪽에 최적화돼 있다
추론 전용 칩	역전파를 버리고 대역폭·지연에 집중한다

추론 전용 칩을 만드는 회사들이 생긴 이유가 여기 있다. 학습을 포기하면 설계에서 덜어낼 수 있는 것이 많고, 그만큼 추론에 자원을 몰아줄 수 있다.

이 흐름은 이미 산업 재편으로 나타났다. 엔비디아는 추론 전용 칩 회사 그로크(Groq)의 기술을 비배타적 라이선스로 가져가고 핵심 인력을 채용했다. 이 지면은 「라이선스 인수란 — 회사는 남기고 기술과 사람만 데려가는 계약」에서 그 계약 구조를 다뤘다.

6. 이 구분이 뉴스를 다르게 읽게 하는 지점

뉴스 문장	어느 쪽 이야기인가
"모델 학습에 수억 달러가 들었다"	학습. 한 번 쓰고 끝난 비용이다
"API 가격을 절반으로 내렸다"	추론. 매 요청에 붙는 값이다
"데이터센터 전력이 기가와트 단위"	둘 다. 다만 상시 부하는 추론 쪽이 만든다
"온디바이스로 모델을 돌린다"	추론. 학습은 여전히 데이터센터에서 한다
"컨텍스트를 100만 토큰까지 넣는다"	추론. 메모리 대역폭과 직결된다

마지막 두 줄이 특히 자주 혼동된다.

휴대폰이나 노트북에서 AI 모델이 돈다고 할 때, 그 기기가 하는 일은 추론뿐이다. 학습은 여전히 데이터센터에서 이뤄지고, 완성된 가중치만 기기로 내려온다. 이 지면은 「온디바이스 AI란 — 인터넷 없이 도는 모델이 가능해진 이유」에서 그 조건을 다뤘다.

컨텍스트 윈도우도 추론 쪽 이야기다. 긴 대화를 기억하려면 그만큼의 값을 메모리에 들고 있어야 하고, 그것이 대역폭 부담으로 돌아온다. 이 지면은 「컨텍스트 윈도우란 — 100만 토큰을 다 읽지는 않는다」에서 다뤘다.

7. 자주 나오는 오해 셋

오해	실제
"AI가 대화하면서 배운다"	일반적인 서비스에서 대화는 모델을 바꾸지 않는다. 추론일 뿐이다. 대화 내용이 나중에 별도로 학습에 쓰일 수는 있지만, 그것은 다른 과정이다
"추론은 가벼우니 비용이 문제 안 된다"	한 번은 가볍다. 총액은 학습을 넘어선다
"학습이 끝나면 GPU가 남는다"	그 GPU는 추론으로 넘어간다. 같은 칩이 두 번 팔리는 것이 아니라, 두 번 쓰이는 것이다

첫 번째가 가장 흔하다. 챗봇이 이전 대화를 기억하는 것처럼 보이는 것은 대화 기록을 매번 입력에 다시 넣어주기 때문이지, 모델이 그것을 배워서가 아니다.

8. 정리

학습은 데이터를 보고 가중치를 고친다. 역전파 때문에 계산량이 크고, 메모리 용량과 처리량이 기준이다.
추론은 고정된 모델로 답을 낸다. 순방향뿐이지만 메모리 대역폭과 응답 지연이 병목이다.
학습은 끝나는 프로젝트, 추론은 끝나지 않는 설비다. 총비용의 무게중심은 추론에 있다.
두 작업의 요구가 달라 하드웨어가 갈라지기 시작했다.
뉴스에서 "AI 비용"을 볼 때는 어느 쪽인지부터 보면 문장이 다르게 읽힌다.

9. 확인하지 못한 것

예산 비중 수치 — 기업 AI 예산의 추론 비중을 다룬 조사가 여럿이나 주체·표본·연도가 달라 특정 수치를 쓰지 않았다.
메모리 소요량 환산 — 파라미터당 소요량은 정밀도와 구현에 따라 크게 달라진다. 본문은 자릿수 감각을 위한 설명이다.
연산량 비율 — 학습과 추론의 실제 연산량 비율은 모델·서비스 규모에 따라 달라 일반화하지 않았다.
추론 전용 칩의 우위 — 제조사 발표 수치의 편차가 커 이 지면이 검증하지 못했다.