본문으로 건너뛰기
TEN Brief 하루 열 건, 확인된 것만 2026.11.10 EN

This article is also available in English →

테크 · 3분 · 검색 의도

AI 코딩 에이전트 성공률 — 1위 모델도 완벽하게 끝낸 건 26.4%, 다른 시험에선 99%였다

How often do AI coding agents actually finish the job? In Co-Design Bench, a new benchmark from Alibaba and several Asian universities built from real user change requests to existing web apps, the best of ten models tested — GPT-6 Astra — met about 70% of requirements on average but fully completed only 26.4% of tasks. Claude Opus 5 and Qwen3.8-Max followed; Grok 4.6 ranked last. The same kind of agents score above 99% on saturated older benchmarks. Performance fell as tasks combined more change types, and rankings shifted depending on the agent harness. An AI judge tests each finished app in a browser.

알리바바와 아시아 여러 대학 연구진이 실제 사용자의 수정 요청으로 만든 새 시험 '코디자인 벤치(Co-Design Bench)'에서, 모델 10개 가운데 1위인 GPT-6 아스트라도 요구사항을 평균 약 70% 충족했을 뿐 작업을 완벽하게 끝낸 비율은 26.4%였다. 클로드 오퍼스 5와 큐원3.8-맥스가 뒤를 이었고 그록 4.6이 꼴찌였다. 같은 종류의 에이전트가 기존 시험에서는 99% 넘는 점수를 받는다. 작업에 바꿀 요소가 많아질수록 모든 모델의 성적이 떨어졌고, 같은 모델도 어떤 실행 환경(하네스)에 넣느냐에 따라 순위가 바뀌었다

햇살 드는 책상에서 모니터 두 대와 손 스케치를 보며 작업을 검토하는 개발자의 뒷모습

3줄 요약

  • 결과 — 1위 GPT-6 아스트라도 완벽 수행 26.4%, 요구사항 평균 충족은 약 70%
  • 차이 — 기존 포화된 시험은 99% 이상, 실제 수정 요청 기반 시험과 35%포인트 넘게 벌어진다
  • 교훈 — 바꿀 것이 많을수록 실패, 같은 모델도 하네스에 따라 순위가 바뀐다

핵심 질문

AI 코딩 에이전트 성공률
**실제 사용자 요청으로 만든 시험에서는 1위 모델도 작업의 26.4%만 완벽하게 끝냈다. 요구사항의 약 70%는 맞췄지만 나머지가 빠져 사람이 손봐야 했다.** | 모델(코디자인 벤치) | 결과 | |---|---| | GPT-6 아스트라 | 1위. 완벽 수행 26.4%, 요구사항 평균 약 70% 충족 | | 클로드 오퍼스 5 | 2위권 | | 큐원3.8-맥스 | 2위권 | | 큐원3.8-27B | 대규모 개편 작업에서 2위 | | 그록 4.6 | 10개 중 최하위 |
AI 코딩 벤치마크 99% 의미
**기존 시험 상당수가 '포화'돼 변별력을 잃었다는 뜻이다. 99%가 나오는 시험으로는 실제 업무에서 얼마나 쓸 만한지 알기 어렵다.** | 시험 | 점수대 | 한계 | |---|---|---| | WebCompass-edit 등 기존 시험 | 99% 이상 | 포화, 변별력 낮음 | | 코디자인 벤치 | 1위 26.4% (완벽 수행) | 고정 요청 1개, AI 심판 오류 가능 | | SWE-bench Verified vs 실제 채택률 | 실제 채택률이 약 24%포인트 낮음 (METR 연구) | |
AI 코딩 에이전트 실패 이유
**한 번에 바꿔야 할 요소가 많을수록 실패했다. 레이아웃·디자인·상호작용·내용을 함께 바꾸는 요청에서 모든 모델의 성적이 떨어졌다.** | 작업 유형 | GPT-6 아스트라 완벽 수행률 | |---|---| | 전체 평균 | 26.4% | | 이미지·음성·영상 등 멀티모달 입력 | 41% | | 저장소(여러 파일) 단위 작업 | 18% 미만 |

AI 코딩 에이전트는 요청받은 일을 얼마나 끝까지 해낼까. 실제 사용자 요청으로 시험해 보니 1위 모델도 넷 중 하나만 완벽했다. 알리바바와 아시아 여러 대학 연구진이 만든 새 시험 '코디자인 벤치(Co-Design Bench)'에서, 시험한 모델 10개 가운데 1위인 오픈AI의 GPT-6 아스트라는 요구사항을 평균 약 70% 충족했지만 작업을 완벽하게 끝낸 비율은 26.4%였다. 나머지 넷 중 셋은 어딘가 빠져서 사람이 마무리해야 했다는 뜻이다.

같은 종류의 에이전트가 기존 시험에서는 99%를 넘는 점수를 받는다. 이 간극이 이 시험이 만들어진 이유다.

1. 무엇을 시험했나 — 이미 있는 웹앱을 '고쳐 달라'는 진짜 요청

코디자인 벤치는 새 프로그램을 처음부터 짜게 하지 않는다. 이미 있는 웹 애플리케이션을 사용자의 수정 요청대로 바꾸게 한다. 요청은 글뿐 아니라 이미지·음성·영상·문서로도 들어온다. 실제 업무에서 개발자가 가장 많이 받는 일과 닮았다.

과제는 실제 코딩 세션에서 나온 수정 요청으로 만들었다. 연구진은 특히 사용자가 요청을 다시 설명하거나 바뀐 내용을 되돌린 사례, 즉 AI가 한 번에 못 알아들은 사례를 골라 넣었다. 작은 손질부터 프로젝트 전체를 뒤엎는 개편까지 범위가 넓다.

채점도 깐깐하다. AI 심판이 완성된 앱을 브라우저에서 직접 눌러 보며 시험하고, 두 번째 AI 심판이 '통과' 판정을 모두 다시 확인한다. 겉모양만 흉내 냈거나 결과를 코드에 박아 넣은 경우를 걸러 내기 위해서다. 실제로 작동하는 기능에만 점수를 준다.

2. 결과 — 1위도 26.4%, 바꿀 게 많을수록 무너진다

모델결과비고
GPT-6 아스트라 (오픈AI)1위, 완벽 수행 26.4%요구사항 평균 약 70% 충족
클로드 오퍼스 5 (앤트로픽)2위권
큐원3.8-맥스 (알리바바)2위권
큐원3.8-27B (알리바바)대규모 개편에서 2위작은 모델의 선전
GLM-5.2작은 수정에서 아스트라의 약 6배 토큰 사용, 점수는 크게 낮음토큰을 많이 쓴다고 잘하지 않음
그록 4.6 (xAI)10개 중 최하위

작업 유형별로 보면 약점이 더 뚜렷하다. GPT-6 아스트라는 이미지·음성 같은 멀티모달 입력이 들어간 과제의 41%를 완벽하게 풀었지만, 여러 파일을 함께 고쳐야 하는 저장소 단위 과제에서는 18%에 못 미쳤다.

작업 유형GPT-6 아스트라 완벽 수행률
전체 평균26.4%
멀티모달 입력 과제41%
저장소(여러 파일) 단위 과제18% 미만

가장 일관된 발견은 이것이다. 레이아웃·디자인·상호작용·내용 가운데 한 번에 바꿔야 하는 요소가 많아질수록 모든 모델의 성적이 떨어졌다. "버튼 색을 바꿔 줘"는 잘하지만 "이 화면을 이런 느낌으로 다시 짜고 동작도 바꿔 줘"에서는 무너진다.

또 하나는 실행 환경(하네스)의 영향이다. 큐원3.8-27B는 대규모 개편 과제에서 어떤 하네스에 넣느냐에 따라 75%와 56%로 점수가 갈렸고, 모델 순위 자체가 환경에 따라 바뀌었다. 모델 점수만 보고 도구를 고르면 안 되는 이유다. 이 개념은 기존 문서 「에이전트 하네스란」에서 정리했다.

3. 이 숫자를 어떻게 읽어야 하나 — '99%'와 '26%' 사이

시험점수대무엇을 말해 주나
WebCompass-edit 등 기존 시험99% 이상포화돼 변별력이 거의 없음
코디자인 벤치1위 26.4% (완벽 수행)실제 수정 요청에서 끝까지 해내는 비율
두 시험의 차이35%포인트 이상시험 설계가 점수를 좌우
SWE-bench Verified 대 실제 채택률실제 채택률이 약 24%포인트 낮음 (METR)시험 점수와 현장의 거리

26.4%는 'AI 코딩 에이전트가 쓸모없다'는 뜻이 아니다. 요구사항의 약 70%를 맞춘다는 것은 상당 부분을 대신해 준다는 뜻이다. 다만 사람이 검토하고 마무리하는 단계를 빼면 안 된다는 뜻이다. 연구진도 한계를 밝혔다. 각 과제는 고정된 요청 1개뿐이라 실제처럼 중간에 묻거나 고쳐 달라고 하는 상황은 시험하지 않았고, AI 심판도 틀릴 수 있다.

기업들이 직원의 AI 도구 비용에 한도를 두기 시작한 것도 같은 맥락이다. 같은 날 지면 「애플 직원 AI 예산 하루 300달러→200달러」에서 다뤘다. 비용 대비 성능이 다른 도구는 「딥시크 하네스」에서, 노력 단계만 고르는 코딩 도구는 「깃허브 코파일럿 퓨전이란」에서 정리했다.

출처

  1. 더디코더 — AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test (2026-11)
  2. 아카이브 — Wei et al., Co-Design Bench (arXiv:2610.35138)
  3. 코디자인 벤치 프로젝트 페이지
  4. 더뉴런 — Everything That Happened in AI Today, Monday, November 9 (2026-11-09)

검증

발행
최종 수정
교차 확인
서로 다른 출처 4건을 대조했다.
미검증
  • 전체 과제 수와 모델별 세부 점수표는 이 기사 작성 시점에 논문 원문으로 확인하지 못했다. 수치는 더디코더 보도를 따랐다.
  • 평가는 AI 심판이 브라우저에서 결과물을 시험하는 방식이라 심판의 오판 가능성이 있다고 연구진 스스로 밝혔다.
  • 각 과제는 고정된 요청 1개로 이뤄져, 실제 업무처럼 중간에 질문하거나 수정 지시를 하는 상황은 평가하지 않았다.
  • METR 연구의 '약 24%포인트' 차이는 코디자인 벤치와 직접 비교한 수치가 아니라 더디코더가 함께 소개한 별도 연구다.
작성
발행 전 사람이 검수했다. 수집·교차확인·재작성 절차는 편집 원칙.

하루 열 건, 아침에 한 번

3줄 요약만 보내고 전문은 사이트에서 읽습니다. 하단에서 한 번의 클릭으로 언제든 해지할 수 있습니다.

관련