AI 시간 지평이란 — 같은 모델이 50%로 12시간, 80%로는 1시간 10분
An AI time horizon is the length of task, measured by how long it takes a human expert, that a model completes with a given probability. METR, the nonprofit that created the metric in March 2025, reports it at 50% and 80% success. In METR data read on November 20, 2026, Claude Opus 4.6 has a 50% horizon of about 12 hours and an 80% horizon of about 70 minutes, with a 95% interval on the first running from 5 to 60 hours. The trend has doubled roughly every 6 to 7 months since 2019 and about every 4 months since 2023.
AI 시간 지평(time horizon)은 AI 모델이 정해진 확률로 끝내는 과제가 사람 전문가에게는 얼마나 걸리는 일인지를 시간으로 나타낸 지표다. 미국 비영리 평가 기관 METR이 2025년 3월 논문에서 내놓았고, 50% 확률 기준과 80% 확률 기준 두 가지로 발표한다. AI가 그 시간만큼 혼자 일한다는 뜻이 아니라 과제의 난이도를 사람 시간으로 잰 것이다. 2026년 11월 20일 확인한 METR 공개 자료에서 클로드 오퍼스 4.6의 50% 지평은 약 12시간, 80% 지평은 약 1시간 10분이고 50% 지평의 95% 신뢰구간은 5시간 17분~60시간 34분이다. 추세는 2019년 이후 약 6~7개월마다, 2023년 이후로는 약 4개월마다 2배다. 과제는 소프트웨어·머신러닝·보안에 치우쳐 있고 METR은 16시간을 넘는 측정치를 신뢰하기 어렵다고 밝혔다
3줄 요약
- 뜻 — 모델이 50%(또는 80%) 확률로 끝내는 과제를 사람 전문가가 하면 걸리는 시간. AI가 일하는 시간이 아니라 과제 난이도의 단위다
- 숫자 — METR 자료(2026년 11월 20일 확인)에서 클로드 오퍼스 4.6은 50% 기준 약 12시간, 80% 기준 약 1시간 10분. 2023년 이후 약 4개월마다 2배
- 함정 — 50% 성공은 실무 신뢰도가 아니고, 과제는 소프트웨어 중심이며, 신뢰구간이 5~60시간으로 넓다. METR은 16시간 초과 측정치를 신뢰하기 어렵다고 적었다
핵심 질문
- AI 시간 지평이란
- **AI 모델이 정해진 확률로 끝내는 과제가 사람 전문가에게 얼마나 걸리는 일인지를 시간으로 나타낸 지표다. METR이 2025년 3월 내놓았고, AI가 일하는 시간이 아니라 과제의 난이도를 잰다.** | 단계 | 하는 일 | |---|---| | 과제 묶음 | 소프트웨어·머신러닝·보안 과제 228개(Time Horizon 1.1 기준) | | 사람 기준선 | 전문가가 같은 과제를 풀어 성공한 시도의 소요 시간을 기하평균 | | AI 실행 | 과제마다 6회 독립 실행해 성공·실패 기록 | | 곡선 적합 | 사람 소요 시간(로그)에 따른 성공 확률에 로지스틱 곡선을 맞춘다 | | 지평 읽기 | 곡선이 50%·80%와 만나는 지점의 사람 시간이 시간 지평 |
- METR 시간 지평 모델별
- **METR 공개 자료(Time Horizon 1.1, 2026년 11월 20일 확인) 기준으로 GPT-4는 4분, GPT-5는 3시간 23분, 클로드 오퍼스 4.6은 11시간 59분이다. 80% 기준으로는 각각 53초, 38분, 1시간 10분으로 훨씬 짧다.** | 모델(공개일) | 50% 지평 | 80% 지평 | |---|---|---| | GPT-4(2023년 3월) | 4분 | 53초 | | GPT-4o(2024년 5월) | 7분 | 1분 16초 | | 클로드 3.7 소넷(2025년 2월) | 1시간 | 12분 | | GPT-5(2025년 8월) | 3시간 23분 | 38분 | | 클로드 오퍼스 4.5(2025년 11월) | 4시간 53분 | 49분 | | 클로드 오퍼스 4.6(2026년 2월) | 11시간 59분 | 1시간 10분 | | GPT-5.4(2026년 3월) | 5시간 42분 | 54분 |
- AI 시간 지평 7개월 2배
- **2025년 3월 METR 원논문은 2019년 이후 약 7개월마다 2배라고 적었다. 과제를 늘린 Time Horizon 1.1에서는 전 기간이 약 6~6.5개월, 2023년 이후는 약 4개월로 더 빠르다.** | 구간 | Time Horizon 1.0 | Time Horizon 1.1(2026년 1월 발표) | 1.1 현재 자료(2026년 11월 20일 확인) | |---|---|---|---| | 전 기간(2019년~) | 195.8일 | 196.5일 | 187.8일 | | 2023년 이후 | 165.3일 | 130.8일 | 128.7일(104~158일) | | 2024년 이후 | 108.9일 | 88.6일 | 자료에 없음 |
AI 시간 지평(time horizon)은 AI 모델이 정해진 확률로 끝내는 과제가 사람 전문가에게는 얼마나 걸리는 일인지를 시간으로 나타낸 지표다. 미국의 비영리 AI 평가 기관 METR이 2025년 3월 논문에서 내놓았다. 「이 모델의 시간 지평은 2시간」이라는 말은 모델이 2시간 동안 일한다는 뜻이 아니다. 사람 전문가가 2시간쯤 걸려 푸는 과제를 이 모델이 절반 확률로 해낸다는 뜻이다. 벤치마크 점수는 「84%」 같은 숫자로 나오지만 그 숫자가 어느 정도의 일을 뜻하는지는 알기 어렵다. 시간 지평은 이것을 사람이 알아듣는 단위인 시간으로 바꿨고, 그래서 AI 발전 속도를 말하는 글과 전망 보고서에 가장 자주 인용되는 그래프가 됐다.
이 글은 시간 지평이 어떻게 계산되는지, 50% 지평과 80% 지평이 왜 그렇게 다른지, 「7개월마다 2배」라는 말이 어디서 나왔고 이후 어떻게 고쳐졌는지, 이 숫자를 읽을 때 무엇을 조심해야 하는지를 차례로 다룬다. 끝에서는 2026년 11월에 나온 오픈AI의 사내 수치와 AI 퓨처스 프로젝트의 전망이 이 지표와 어떻게 다른 측정인지 정리한다. 수치에는 모두 측정·확인 시점을 붙였다.
1. 시간 지평이란 — 정의와 계산법
METR의 정의는 이렇다. 과제 완료 시간 지평은 AI 에이전트가 주어진 신뢰 수준으로 성공할 것으로 예측되는 과제의 길이이고, 그 길이는 사람 전문가의 완료 시간으로 잰다. 계산은 다섯 단계다.
| 단계 | 하는 일 | 세부 |
|---|---|---|
| 과제 묶음 | 길이가 다른 과제를 모은다 | RE-Bench, HCAST, 짧은 자체 제작 과제. 소프트웨어 엔지니어링·머신러닝·사이버 보안이 대부분. 2025년 3월 판은 170개, 2026년 1월 판(Time Horizon 1.1)은 228개 |
| 사람 기준선 | 과제마다 사람이 걸리는 시간을 정한다 | 계약한 전문가가 같은 지시문과 도구로 풀고, 성공한 시도의 소요 시간을 기하평균한다 |
| AI 실행 | 모델에 도구를 쥐여 주고 같은 과제를 시킨다 | METR 설명 기준 과제마다 6회 독립 실행. 보상 해킹 여부를 사람이 검토한다 |
| 곡선 적합 | 사람 소요 시간에 따른 성공 확률을 곡선으로 맞춘다 | 가로축은 사람 시간의 로그, 세로축은 성공 확률인 로지스틱 곡선 |
| 지평 읽기 | 곡선이 50%, 80%와 만나는 점을 읽는다 | 그 점의 사람 시간이 50% 지평, 80% 지평 |
핵심은 넷째 단계다. 모델은 짧은 과제는 거의 다 풀고 긴 과제는 거의 못 푼다. 2025년 3월 METR 글은 당시 모델이 사람에게 4분 이내인 과제는 거의 100%, 4시간이 넘는 과제는 10% 미만으로 성공한다고 적었다. 그 사이 어딘가에서 성공률이 50%를 지나는데, 그 지점을 과제의 길이로 표시한 것이 시간 지평이다.
여기서 세 가지를 짚어 둔다. 첫째, AI가 실제로 쓰는 시간과는 무관하다. METR은 성공한 과제에서 AI 에이전트가 대개 사람보다 몇 배 빠르다고 적었다. 둘째, 「과제」는 쪼갤 수 없는 한 덩어리의 일이다. 1시간짜리 수학 문제 1,000개를 연달아 푸는 것은 1,000시간 과제가 아니라 1시간 과제 1,000번이다. 셋째, 2시간 지평이 「2시간짜리 과제마다 성공률이 50%」라는 뜻도 아니다. METR은 사람에게 90분~3시간 걸리는 과제에서 GPT-5가 약 3분의 1은 매번 성공하고, 3분의 1은 매번 실패하고, 나머지 3분의 1은 됐다 안 됐다 했다고 설명한다.
2. 50% 지평과 80% 지평 — 모델별 측정치
METR은 두 기준을 함께 발표한다. 50% 지평은 절반은 실패해도 되는 기준이고, 80% 지평은 다섯 번에 네 번은 성공해야 하는 기준이다. 아래는 METR이 공개한 Time Horizon 1.1 자료 파일을 2026년 11월 20일 내려받아 옮긴 값이다. 괄호 안은 METR이 부트스트랩으로 계산한 신뢰구간이다. 공개일은 METR 자료 파일의 표기다.
| 모델 | 공개일 | 50% 지평(신뢰구간) | 80% 지평(신뢰구간) |
|---|---|---|---|
| GPT-2 | 2019년 2월 14일 | 약 3초 | 약 1초 |
| GPT-3.5 터보 인스트럭트 | 2022년 3월 15일 | 약 36초 | 약 15초 |
| GPT-4 | 2023년 3월 14일 | 4분(1.9~8분) | 53초 |
| GPT-4o | 2024년 5월 13일 | 7분(4~13분) | 1분 16초 |
| 클로드 3.5 소넷(신판) | 2024년 10월 22일 | 21분(10~41분) | 2분 36초 |
| o1 | 2024년 12월 5일 | 39분(21분~1시간 5분) | 7분 |
| 클로드 3.7 소넷 | 2025년 2월 24일 | 1시간(33분~1시간 44분) | 12분 |
| o3 | 2025년 4월 16일 | 2시간(1시간 15분~3시간 11분) | 30분 |
| GPT-5 | 2025년 8월 7일 | 3시간 23분(1시간 53분~6시간 46분) | 38분 |
| 제미나이 3 프로 | 2025년 11월 18일 | 3시간 44분(2시간 20분~6시간 19분) | 54분 |
| 클로드 오퍼스 4.5 | 2025년 11월 24일 | 4시간 53분(2시간 42분~10시간 24분) | 49분 |
| GPT-5.2 | 2025년 12월 11일 | 5시간 52분(3시간 18분~13시간 35분) | 1시간 6분 |
| 클로드 오퍼스 4.6 | 2026년 2월 5일 | 11시간 59분(5시간 17분~60시간 34분) | 1시간 10분(27분~2시간 50분) |
| 제미나이 3.1 프로 | 2026년 2월 19일 | 6시간 24분(3시간 54분~11시간 35분) | 1시간 30분 |
| GPT-5.4 | 2026년 3월 5일 | 5시간 42분(3시간 7분~12시간 49분) | 54분 |
| 클로드 미토스 프리뷰(초기판) | 2026년 4월 7일 | 17시간 25분(8시간 29분~55시간 4분) | 3시간 6분(1시간 37분~6시간 39분) |
이 표에서 읽을 것이 셋 있다.
첫째, 80% 지평은 대체로 50% 지평의 4분의 1에서 8분의 1이다. 클로드 오퍼스 4.6은 그 차이가 10배다. 50% 기준으로는 사람에게 12시간 걸리는 일을 해내는 모델이, 80% 기준으로는 1시간 10분짜리 일까지만 맡길 수 있다는 뜻이다. 같은 모델을 두고 「반나절 넘는 일을 한다」와 「한 시간 남짓한 일을 한다」가 둘 다 참이 된다. 어느 숫자를 인용했는지 확인해야 하는 이유다.
둘째, 신뢰구간이 넓다. 오퍼스 4.6의 50% 지평은 추정치가 약 12시간이지만 구간은 5시간 17분에서 60시간 34분이다. 아래와 위가 11배 넘게 차이 난다. 모델이 강해질수록 풀지 못하는 과제가 줄어 곡선의 오른쪽 끝을 붙잡아 줄 자료가 모자라기 때문이다.
셋째, 표는 여기서 끝난다. METR은 2026년 5월 8일 미토스 프리뷰(초기판)를 추가하면서 현재 과제 묶음으로는 16시간을 넘는 측정치를 신뢰하기 어렵다는 경고를 붙였고, 2026년 9월 8일에는 이 페이지를 더는 적극적으로 갱신하지 않는다고 밝혔다. 그 뒤에 나온 모델의 시간 지평은 이 페이지에 없다. METR은 이 목록이 가장 강한 모델의 완전한 기록이 아니며, 인력이 모자라 늦게 재거나 건너뛴 모델이 있다고도 적었다.
3. 얼마나 빨리 늘었나 — 「7개월마다 2배」와 그 뒤
시간 지평이 유명해진 것은 숫자 자체보다 추세 때문이다. 2025년 3월 19일 METR은 범용 AI 에이전트가 50% 확률로 끝내는 과제의 길이가 지난 6년 동안 약 7개월마다 2배가 됐다고 발표했다. 같은 글은 2024년과 2025년 자료만으로 맞추면 추세가 더 가팔라, 한 달짜리 과제에 도달하는 예상 시점이 약 2.5년 앞당겨진다고도 적었다. 추세가 이어지면 2020년대 말에는 사람에게 한 달 걸리는 프로젝트를 AI가 혼자 해낼 수 있다는 외삽이 여기서 나왔다.
2026년 1월 29일 METR은 과제를 170개에서 228개로 늘린 Time Horizon 1.1을 내놓았다. 73개를 더하고 15개를 빼고 53개를 고쳤다. 사람에게 8시간 넘게 걸리는 과제가 14개에서 31개로 늘었고, 실행 환경도 자체 도구에서 영국 AI 보안 연구소의 공개 도구 인스펙트로 옮겼다. 배증 기간은 이렇게 바뀌었다.
| 구간 | Time Horizon 1.0 | Time Horizon 1.1(2026년 1월 29일 발표) | 1.1 현재 자료(2026년 11월 20일 확인) |
|---|---|---|---|
| 전 기간(2019년~) | 195.8일(약 6.4개월) | 196.5일(약 6.5개월) | 187.8일(약 6.2개월) |
| 2023년 이후 | 165.3일(약 5.4개월) | 130.8일(약 4.3개월) | 128.7일(약 4.2개월, 구간 104~158일) |
| 2024년 이후 | 108.9일(약 3.6개월) | 88.6일(약 2.9개월) | 자료 파일에 없음 |
전 기간 추세는 거의 그대로이고, 2023년 이후는 약 4개월마다 2배로 더 빨라졌다. 과제를 바꾸자 옛 모델의 점수는 내려가고 새 모델의 점수는 올라갔기 때문이다. 1.1 발표 글 기준으로 GPT-4(1106)의 50% 지평은 8.5분에서 3.6분으로 57% 줄었고 GPT-5는 138분에서 214분으로 55% 늘었다. 모델은 그대로인데 자만 바꿔도 숫자가 이만큼 움직인다는 점은 이 지표의 성질을 잘 보여 준다.
현재 자료의 값이 1.1 발표 글과 또 다른 것은 METR이 2026년 3월 3일 계산의 정규화 오류를 바로잡았기 때문이다. METR의 2026년 3월 20일 자 연구 노트에 따르면 이 수정으로 당시 모델의 50% 지평이 최대 20% 내려갔다. 현재 자료의 배증 기간은 추정치가 16시간을 넘는 측정을 빼고 계산한 값이다.
4. 읽을 때의 함정
| 함정 | 내용 | 근거 |
|---|---|---|
| 50%는 실무 신뢰도가 아니다 | 절반은 실패한다. 맡겨 놓고 잊어도 되는 수준을 알려면 80% 지평이나 그 이상을 봐야 하는데, 80% 지평은 50%의 4분의 1~10분의 1이다 | 2절 표. METR은 99% 지평은 과제가 훨씬 많이 필요해 내지 않는다고 설명한다 |
| 과제가 소프트웨어 중심이다 | 소프트웨어·머신러닝·보안 과제가 대부분이고, 지시가 분명하며 자동 채점이 된다. METR은 다른 분야에서도 비슷한 지수 추세를 봤지만 절대값은 크게 다르다고 적었다 | METR 페이지의 과제 설명과 FAQ |
| 사람 기준선이 「맥락 없는 사람」이다 | 기준이 된 사람은 평균 약 5년 경력의 전문가지만 그 과제를 처음 본다. METR은 2시간 과제를 신입이나 외주 계약자가 2시간에 할 일로 보라고 한다. 익숙한 실무자는 더 빨리 끝내므로 사람 시간이 과대 추정됐을 수 있다 | METR 페이지 |
| 긴 과제일수록 사람 실측이 없다 | 1.1의 8시간 이상 과제 31개 가운데 사람이 실제로 풀어 잰 것은 5개뿐이다. UC버클리 논문은 과제의 29%에서 사람 실측값이 없거나 무효여서 전문가 추정치를 썼다고 적었다 | 1.1 발표 글, arXiv 2610.12466 |
| 신뢰구간이 넓다 | 오퍼스 4.6의 50% 지평 구간은 5~60시간. 16시간을 넘는 측정은 METR이 신뢰하기 어렵다고 했다 | METR 자료 파일과 페이지 |
| 분석 가정에 민감하다 | 곡선 모양을 달리 잡으면 당시 모델의 50% 지평이 최대 35% 줄고 80% 지평은 최대 2배가 된다. 공개된 과제를 빼면 오퍼스 4.6의 50% 지평이 11시간 59분에서 7시간 11분이 된다 | METR 연구 노트(2026년 3월 20일) |
| 깔끔한 과제와 실제 일은 다르다 | METR은 지저분한 과제에서 성적이 나빠지고, 자동 채점 대신 종합적으로 평가하면 성적이 크게 떨어진다고 밝혔다. 8시간 지평이 일자리 자동화를 뜻하지 않는 이유로 든 것이다 | METR 페이지 FAQ |
바깥의 통계적 비판도 있다. UC버클리 통계학과의 드루 응우옌과 윌리엄 피시언은 2026년 10월 8일 arXiv에 올린 논문 「On the estimation and validity of AI time horizons」에서 METR의 공개 자료(과제 228개, AI 26개)를 다시 분석했다. 문제 삼은 것은 과제의 AI 난이도가 사람 시간의 로그에 정비례한다는 가정이다. 이 가정을 풀고 스플라인과 문항 반응 이론으로 다시 맞추자, 사람 시간 2~30분 구간에서 곡선이 거의 평평하게 나왔다. 저자들의 해석은 이렇다. 시간 지평이 3분에서 30분으로 느는 것은 30분에서 5시간으로 느는 것보다 훨씬 쉽다. 둘 다 똑같이 10배인데도 그렇다. 「2배」가 구간마다 같은 크기의 진전이 아니라는 뜻이다.
이 논문은 지수 추세 자체를 부정하지 않는다. 저자들은 관측된 지수적 증가는 경험적 사실이며 그것을 문제 삼지 않는다고 적었다. 제안은 시간 지평을 점 하나로만 보지 말고, 사람 시간과 AI 난이도의 관계를 보여 주는 진단 그림과 함께 읽으라는 것이다. 동료 평가를 거치지 않은 예비 논문이라는 점은 감안해야 한다. METR 스스로도 2026년 3월 연구 노트에서 과제 묶음이 포화될수록 결과가 분석 선택에 더 민감해진다고 인정했다.
5. 2026년 11월의 두 숫자 — 시간 지평과 같은 측정인가
2026년 11월에 「AI가 몇 시간짜리 일을 한다」는 말이 다시 퍼진 계기는 둘이다. 둘 다 시간 지평처럼 들리지만 재는 것이 다르다.
오픈AI의 사내 수치. 오픈AI는 2026년 11월 18일 공개한 글에서, 사내 연구 과제 가운데 사람에게 2~4시간 걸리는 일을 에이전트가 사람 개입 없이 끝낸 비율이 2026년 3월 23%에서 10월 46%로 올랐다고 밝힌 것으로 보도됐다. 4~8시간 과제는 13%에서 35%다. 과제 종류별로는 학습 실행 감시가 79%, 추론·서빙 코드 작성이 25%로 크게 갈렸다. 오픈AI 원문은 열리지 않아 세 매체의 일치하는 보도로 적는다.
AI 퓨처스 프로젝트의 전망. 「AI 2027」 시나리오를 쓴 저자들은 2026년 11월 10일 자 분기 갱신에서, 의도적인 감속이 없다면 초인적 AI 연구자가 2027년 중에 나올 가능성이 높다고 예측자 전원이 본다고 적었다. 일라이 리플랜드의 중앙값은 2027년 8월이다. 대니얼 코코타일로의 중앙값이 2028년 12월에서 2027년 5월로 당겨졌다는 것은 2차 보도로만 확인했다. 이 갱신의 주된 근거는 시간 지평이 아니라, 앤트로픽의 AI 연구개발 속도가 과거의 약 2배(범위 1.3~3배)이고 그 가속의 약 80%가 AI 덕이라는 METR의 다른 보고서다. 저자들은 근거의 상당 부분이 비공개 처리돼 분석이 매우 잠정적이라고 밝혔다. 다만 이들의 예측 모형은 2025년 12월 판부터 METR의 시간 지평 연구를 입력값 가운데 하나로 쓴다.
| 항목 | METR 시간 지평 | 오픈AI 사내 수치(2026년 11월 18일 공개) | AI 퓨처스 전망(2026년 11월 10일) |
|---|---|---|---|
| 재는 것 | 성공률을 50%·80%로 고정하고 그때의 과제 길이를 구한다 | 과제 길이를 2~4시간 등으로 고정하고 그때의 무개입 완료율을 센다 | 측정이 아니라 예측. 특정 능력의 AI가 나올 시점의 확률 분포 |
| 과제 | 고정된 과제 묶음 228개. 모든 모델이 같은 과제를 푼다 | 연구자가 실제 업무에서 에이전트에 맡긴 과제. 맡기는 일의 구성이 시기마다 달라진다 | 해당 없음 |
| 사람 시간 | 전문가가 직접 풀어 잰 시간(일부는 추정) | 사람 소요 시간 추정. 추정 방법은 확인하지 못했다 | 해당 없음 |
| 성공 판정 | 과제마다 정해진 자동 채점 | 사람 개입 없이 끝났는가. 판정 방법은 확인하지 못했다 | 해당 없음 |
| 누가 재나 | 제3자 비영리 기관, 자료·코드 공개 | 회사 자체 집계, 재현 자료 없음 | 독립 연구 단체 |
| 약점 | 깔끔한 소프트웨어 과제에 한정, 16시간 초과는 신뢰하기 어렵다 | 선택 효과. 보도에 따르면 오픈AI도 연구자가 맡기는 과제가 달라졌을 수 있다고 밝혔다 | 모형 가정과 비공개 근거에 의존 |
두 숫자는 서로 바꿔 읽을 수 없다. 「2~4시간 과제의 46%」를 시간 지평 식으로 옮기면 50% 지평이 3시간 안팎이라는 말처럼 들리지만, METR의 깔끔한 과제에서는 2026년 초 공개 모델이 이미 50% 지평 6~12시간으로 측정됐다. 실제 업무의 과제는 맥락이 많고 지저분하며, 성공 기준도 「채점 통과」가 아니라 「사람이 한 번도 손대지 않음」이다. 오픈AI 수치는 실제 일터의 성적이라는 점에서 시간 지평이 못 보는 것을 보여 주고, 시간 지평은 모든 모델을 같은 자로 잰다는 점에서 사내 수치가 못 하는 비교를 가능하게 한다. 서로의 빈 곳을 채우는 자료로 읽는 편이 맞다.
6. 자주 묻는 질문
Q. 시간 지평이 12시간이면 AI가 12시간 동안 혼자 일한다는 뜻인가? 아니다. 사람 전문가가 12시간쯤 걸리는 과제를 절반 확률로 해낸다는 뜻이다. AI가 실제로 쓰는 시간은 따로이고, METR은 성공한 과제에서 대개 사람보다 몇 배 빠르다고 적었다.
Q. 50% 지평과 80% 지평 중 무엇을 봐야 하나? 묻는 것에 따라 다르다. 능력의 최전선이 어디까지 왔는지를 보려면 50% 지평, 사람이 검수를 덜 해도 되는 범위를 보려면 80% 지평이다. METR은 두 추세의 기울기가 매우 비슷하다고 밝혔다. 수준은 다르지만 늘어나는 속도는 같다는 뜻이다.
Q. 8시간 지평이면 하루치 일을 대신한다는 뜻인가? METR의 답은 「아니다」이고 이유는 셋이다. 기준이 된 사람이 맥락 없는 사람이고, 과제가 소프트웨어 쪽에 치우쳐 있으며, 대부분의 일자리는 명세가 분명하고 자동 채점이 되는 과제로 이루어져 있지 않다.
Q. 왜 99% 지평은 발표하지 않나? 정확히 재려면 훨씬 많은 과제가 필요하고 그 과제들은 아주 짧아야 해서, 사람 기준선을 믿을 만하게 얻기 어렵고 고장 난 과제 하나에도 결과가 크게 흔들린다는 것이 METR의 설명이다.
Q. 추세가 계속되면 언제 한 달짜리 일을 하나? 2025년 3월 원논문은 추세가 이어지면 2020년대 말이라고 외삽했다. 이것은 측정이 아니라 연장선이다. 현재 과제 묶음은 16시간 부근에서 한계에 닿았고, 그 위를 재려면 더 긴 과제와 그 과제를 실제로 풀어 본 사람의 시간이 필요하다. 추세선이 꺾였는지, 더 가팔라졌는지를 지금의 자로는 가릴 수 없다.
Q. 시간 지평 말고 무엇을 함께 봐야 하나? 같은 모델이 시험에 따라 전혀 다른 점수를 받는다는 점은 코딩 벤치마크에서 이미 확인된 일이다. 실제 사용자의 수정 요청으로 만든 시험, 회사가 공개하는 사내 완료율, 유지보수자가 실제로 받아들이는 비율 같은 다른 종류의 자료를 나란히 놓고 봐야 한다.
7. 남은 것과 확인되지 않은 것
| 항목 | 확인된 것 | 확인되지 않은 것 |
|---|---|---|
| 정의·계산법 | METR 페이지와 2025년 3월 논문 | 없음 |
| 모델별 측정치 | METR 자료 파일(Time Horizon 1.1)을 2026년 11월 20일 직접 내려받아 확인 | 2026년 5월 이후 공개된 모델의 시간 지평. METR 페이지에 없다 |
| 미토스 프리뷰(초기판) | 50% 지평 약 17시간 25분, 80% 지평 약 3시간 6분 | METR이 신뢰하기 어렵다고 한 16시간 초과 구간이다 |
| 배증 기간 | 원논문 약 7개월, 1.1 발표 글 196.5일·130.8일·88.6일, 현재 자료 187.8일·128.7일 | 2024년 이후 추세의 현재 값. 16시간 한계 위의 추세 |
| METR 페이지 갱신 중단 | 2026년 9월 8일 「더는 적극적으로 갱신하지 않는다」 명시 | 이유와 후속 과제 묶음의 일정 |
| 통계적 비판 | arXiv 2610.12466의 초록과 앞부분. 2~30분 구간이 평평하다는 결과 | 동료 평가 여부. 모델별 수정 추정치 전체 |
| 오픈AI 사내 수치 | 세 매체가 일치하게 보도한 23%→46%, 13%→35% | 원문을 열지 못했다. 측정 구간, 사람 시간 추정법, 완료 판정 기준 |
| AI 퓨처스 전망 | 2026년 11월 10일 자 글, 전원이 2027년 중으로 본다는 서술, 리플랜드 중앙값 2027년 8월 | 코코타일로 중앙값의 이동 폭은 2차 보도. 글의 뒷부분은 읽지 못했다 |
| 다른 분야의 시간 지평 | METR이 다른 분야에서도 지수 추세를 봤다고 밝힘 | 분야별 절대값. 이 글에서는 확인하지 않았다 |
AI가 AI 연구를 스스로 가속한다는 논의는 2026년 10월 16일 자 「재귀적 자기 개선이란」에서, 같은 모델이 시험에 따라 다른 점수를 받는 이유는 2026년 8월 17일 자 「코딩 벤치마크란」과 2026년 11월 10일 자 「AI 코딩 에이전트 성공률」에서, 도구를 쥔 모델이 과제를 수행하는 방식은 2026년 8월 26일 자 「AI 에이전트란」에서, 이런 지표가 겨냥하는 목표의 정의는 2026년 9월 4일 자 「AGI란」에서 다뤘다. 오픈AI의 사내 수치는 같은 2026년 11월 20일 자 지면의 오픈AI 연구 가속 보고서 기사에서 자세히 다룬다.
출처
- METR — Task-Completion Time Horizons of Frontier AI Models (2026-09-08 최종 갱신)
- METR — Time Horizon 1.1 측정치 원자료(benchmark_results_1_1.yaml, 2026-11-20 확인)
- METR — Time Horizon 1.0 측정치 원자료(benchmark_results_1_0.yaml, 2026-11-20 확인)
- METR — Measuring AI Ability to Complete Long Tasks (2025-03-19)
- arXiv 2503.14499 — Measuring AI Ability to Complete Long Software Tasks (2025-03-18)
- METR — Time Horizon 1.1 (2026-01-29)
- METR — Impact of modelling assumptions on time horizon results (2026-03-20)
- arXiv 2610.12466 — On the estimation and validity of AI time horizons: a statistical look at the METR plot (2026-10-08)
- AI 퓨처스 프로젝트 — Q3.5 Timelines Update: Looks Like the Intelligence Explosion Will Happen in 2027 After All (2026-11-10)
- 크립토 브리핑 — AI 2027 authors now expect a superhuman AI researcher in 2027 (2026-11-11)
- 위키백과(영어) — AI Futures Project (2026-11-01 최종 편집)
- AI 뉴스 위클리 — OpenAI Says Coding Agents Finish 46% of 2-4 Hour Research Tasks (2026-11-19)
- explainx.ai — OpenAI Agents Hit 46% on 2–4h Research Tasks (2026-11-19)
- 블록체인 뉴스 — OpenAI Reports Uneven Progress in AI-Driven Research Acceleration (2026-11-19)
- AI 2027 트래커 — METR doubling (2026-11-07 최종 갱신)