컨텍스트 윈도우가 뭐야

AI 언어모델이 한 번의 요청을 처리하면서 동시에 볼 수 있는 텍스트의 최대 길이다. 단위는 토큰이고, 토큰은 대략 단어 조각 하나 정도의 덩어리다. 중요한 것은 이 한도가 입력과 출력을 합친 값이라는 점이다. 컨텍스트가 100만 토큰이고 이미 99만 토큰을 넣었다면 답변에 쓸 수 있는 여유는 1만 토큰뿐이다. 대화가 길어지면 이전 대화 전체가 매번 다시 입력으로 들어가므로 창은 계속 채워진다.

한국어로 100만 토큰이면 얼마나 되는 거야

정확한 환산은 모델의 토크나이저에 따라 다르지만, 영어는 대략 1토큰이 4글자 안팎, 한국어는 이보다 토큰을 더 많이 쓴다. 같은 내용을 한국어로 쓰면 영어보다 토큰이 더 들어간다는 뜻이고, 그래서 '100만 토큰 = 책 몇 권'이라는 환산은 언어에 따라 크게 달라진다. 실무적으로는 글자 수로 어림잡기보다 API가 반환하는 토큰 사용량을 직접 확인하는 편이 정확하다.

컨텍스트가 크면 무조건 좋은 거 아니야

세 가지 비용이 붙는다. 첫째, 값이다. 대부분의 API가 입력 토큰 단위로 과금하므로 창을 채울수록 요청 하나의 비용이 올라간다. 둘째, 속도다. 입력이 길수록 첫 응답까지의 지연이 커진다. 셋째가 가장 중요한데, 정확도다. 창이 크다고 그 안의 정보를 고르게 잘 찾는 것이 아니다. 광고된 길이의 끝으로 갈수록 특정 문장을 찾아내는 능력이 떨어지는 현상이 여러 모델에서 공통으로 확인됐다.

그럼 유효 컨텍스트 길이는 어떻게 확인해

벤치마크를 본다. 대표적인 것이 건초더미에서 바늘 찾기(Needle in a Haystack) 계열 테스트로, 긴 문서 안에 특정 문장을 심어 놓고 모델이 찾아내는지 측정한다. 다만 바늘 하나를 심는 단일 테스트는 점수가 후하게 나오는 경향이 있어서, 실제 판단에는 여러 개를 심는 다중 회수 테스트를 봐야 한다. RULER처럼 회수뿐 아니라 긴 문맥에서의 추론까지 측정하는 모음도 쓰인다. 모델 회사가 발표하는 컨텍스트 길이는 사양이고, 이 벤치마크가 실측이다.

컨텍스트 윈도우란 — 100만 토큰을 다 읽지는 않는다

컨텍스트 윈도우는 AI 모델이 한 번의 요청에서 입력과 출력을 합쳐 다룰 수 있는 최대 토큰 수를 뜻하며, 광고된 길이와 모델이 실제로 정보를 정확히 찾아 쓰는 길이는 다르다

AI 모델 발표문에 반드시 들어가는 숫자가 하나 있다. 컨텍스트 100만 토큰.

2026년 들어 이 숫자는 사실상 표준이 됐다. 주요 모델 대부분이 같은 자리에 도달했고, 그 이상을 내건 모델도 나왔다.

그런데 벤치마크를 보면 다른 이야기가 나온다. 100만 토큰을 받는 것과 100만 토큰 안에서 원하는 문장을 찾아내는 것은 별개다.

1. 컨텍스트 윈도우란 무엇인가

한 번의 요청에서 모델이 동시에 볼 수 있는 텍스트의 최대 길이다. 단위는 토큰이고, 토큰은 대략 단어 조각 하나 정도의 덩어리다.

여기서 가장 자주 오해되는 지점이 하나 있다.

컨텍스트 윈도우는 입력 전용 한도가 아니다. 입력과 출력을 합친 총량이다.

컨텍스트가 100만 토큰인 모델에 99만 토큰짜리 문서를 넣었다면, 답변에 쓸 수 있는 여유는 1만 토큰이다. 긴 문서를 넣고 긴 답을 요구하면 둘 중 하나가 잘린다.

대화형 서비스에서는 여기에 하나가 더 붙는다. 모델은 이전 대화를 기억하지 않는다. 이어지는 질문에 답할 때마다 그동안의 대화 전체가 다시 입력으로 들어간다. 대화가 길어질수록 창은 계속 차오르고, 한도에 닿으면 앞부분부터 잘려 나간다. "아까 말한 걸 잊었다"는 현상의 정체가 대개 이것이다.

2. 토큰은 언어마다 다르게 센다

언어	대략적 경향
영어	1토큰 ≈ 4글자 안팎
한국어	같은 내용을 담는 데 영어보다 토큰을 더 많이 씀

이유는 토크나이저가 대개 영어 말뭉치에 최적화돼 만들어졌기 때문이다. 한국어는 한 글자가 여러 토큰으로 쪼개지는 경우가 있다.

실무적 결과는 두 가지다. 첫째, 같은 분량의 문서라도 한국어면 창을 더 빨리 채운다. 둘째, 같은 작업이라도 한국어 요청이 더 비싸다 — 대부분의 API가 토큰 단위로 과금하기 때문이다.

정확한 배수는 모델의 토크나이저마다 다르다. 글자 수로 어림잡기보다 API가 반환하는 실제 토큰 사용량을 확인하는 편이 정확하다.

3. 창이 클수록 좋은가 — 세 가지 비용

비용	내용
값	입력 토큰 단위 과금 — 창을 채울수록 요청당 비용 상승
속도	입력이 길수록 첫 응답까지의 지연 증가
정확도	창의 뒤쪽으로 갈수록 특정 정보를 찾아내는 능력 저하

앞의 둘은 예상 가능하다. 문제는 셋째다.

4. 광고된 길이와 유효 길이

2026년 여러 벤치마크에서 공통으로 관찰된 것은 이렇다. 광고된 컨텍스트 길이의 앞부분에서는 회수 정확도가 높지만, 20만 토큰을 넘어 100만 토큰에 가까워질수록 정확도가 크게 떨어진다.

한 정리 자료는 이 낙폭을 30~60점 수준으로 집계했다. 개별 모델의 원자료를 대조하지 못했으므로 이 수치는 참고로만 둔다. 다만 낙폭이 존재한다는 사실 자체는 여러 자료에서 일치한다.

여기서 두 개의 용어를 구분해야 한다.

용어	뜻	출처
컨텍스트 길이	모델이 받아들이는 최대 토큰	모델 회사의 사양
유효 컨텍스트 길이	모델이 안정적으로 활용하는 토큰	벤치마크 실측

모델 회사가 발표하는 숫자는 앞쪽이다. 뒤쪽은 각자 측정해야 한다.

2026년의 어려운 문제는 이미 용량이 아니다. 1000만 토큰을 받는 모델을 만드는 것보다, 그 안에서 특정 사실 하나를 틀리지 않고 찾아내게 만드는 것이 훨씬 어렵다.

5. 유효 길이를 재는 법 — 벤치마크 세 종류

벤치마크	무엇을 재나	주의점
건초더미 속 바늘 (NIAH)	긴 문서에 문장 하나를 심고 찾게 함	바늘 1개짜리는 점수가 후하게 나옴
다중 회수	바늘을 여러 개(보통 8개) 심음	실제 업무에 가까움 — 여기서 조용히 실패
RULER 계열	회수 + 긴 문맥에서의 추론	찾은 다음 '쓸 수 있는가'까지 측정

가장 중요한 것은 두 번째 줄이다. 단일 바늘 점수는 오해를 만든다. 문서 하나에서 한 문장을 찾는 일은 실제 업무에서 거의 없다. 코드베이스 전체를 넣고 관련 함수 여덟 곳을 모두 찾아 고치는 일이 실제 업무이고, 그 상황에서 모델은 일부만 찾고 나머지는 없다고 답하는 방식으로 실패한다.

조용히 실패한다는 점이 특히 위험하다. 못 찾았다고 말하지 않고, 찾은 것만으로 그럴듯한 답을 만든다.

6. 그래서 실무에서는 어떻게 쓰나

① 넣을 수 있다고 다 넣지 않는다. 관련 없는 문서를 함께 넣으면 비용과 지연만 늘고 정확도는 오히려 떨어진다.

② 중요한 지시는 앞이나 뒤에 둔다. 긴 입력의 한가운데에 놓인 정보가 가장 잘 무시된다는 관찰이 반복돼 왔다.

③ 검색을 먼저 붙인다. 전체를 창에 밀어 넣는 대신 필요한 부분만 골라 넣는 방식(RAG)이 여전히 유효한 이유가 여기에 있다. 창이 커졌다고 검색이 불필요해진 것이 아니다.

④ 긴 대화는 요약해서 이어간다. 대화 전체가 매번 재입력되므로, 중간중간 요약으로 압축하면 비용과 정확도가 함께 개선된다.

7. 2026년의 지형

모델 계열	컨텍스트 (2026년 중반 기준)
주요 상위 모델 다수	100만 토큰
일부 모델	50만 토큰
일부 실험적 모델	그 이상

숫자가 한 자리에 수렴했다는 것은 컨텍스트 길이가 더 이상 차별화 요소가 아니게 됐다는 뜻이다. 2026년 8월 13일 정식 출시된 딥시크 V4-Pro도 100만 토큰이었다. 그 모델의 사양과 구조는 「딥시크 V4-Pro 정식 출시」에 정리했다.

경쟁은 다음 자리로 넘어갔다. 같은 100만 토큰 안에서 누가 더 정확하게 찾아 쓰는가.

8. 남은 것 · 확인되지 않은 것

본문에 인용한 회수 정확도 낙폭(30~60점)은 한 벤치마크 정리 자료의 집계다. 개별 모델의 원자료를 대조하지 못했다. 특정 모델이 전 구간에서 정확도를 유지한다는 평가 역시 같은 자료의 것이며 독립 재현을 확인하지 못했다.

한국어의 토큰 환산 배수는 모델별 토크나이저에 따라 달라 구체적인 숫자를 제시하지 않았다.

모델별 컨텍스트 길이는 2026년 중반 기준이며, 버전 업데이트마다 바뀐다. 이 문서에서 오래 유효한 것은 표의 숫자가 아니라 '광고된 길이'와 '유효 길이'를 구분해 읽는 습관 쪽이다.

모델 구조 자체를 더 보려면 「오픈소스 AI 모델이란」과 「프론티어 모델이란」이 이어지는 문서다.