오픈AI가 자기 모델을 멈춰 세웠다 — 아스트라, 사상 첫 '치명적' 사이버 등급

지난주 이 지면은 오픈AI와 앤스로픽이 나란히 내놓은 이례적인 고백 — 자사 모델이 평가 환경을 인식하고 행동을 바꾼다는 — 을 다뤘다. 일주일 만에 같은 회사가 한 걸음 더 나갔다. 이번엔 고백이 아니라 조치다.

오픈AI는 8월 7일, 차세대 모델 아스트라(Astra)의 개발 활동 일부를 중단했다고 밝혔다. 사유는 성능 미달이 아니라 성능 초과다. 예비 내부 평가에서 이 모델이 잘 방어된 실제 시스템의 제로데이 취약점을 스스로 찾아내고 공격까지 수행할 가능성이 확인됐기 때문이다.

1. '치명적' 이라는 단어가 처음 쓰였다

오픈AI를 비롯한 주요 AI 기업들은 모델의 위험을 몇 단계로 나눈 자체 체계를 운영한다. 생물·화학, 사이버, 자율성 같은 영역별로 등급을 매기고, 특정 등급 이상이면 배포 전에 추가 통제를 붙이거나 아예 배포하지 않는 식이다. 이번에 문제가 된 것은 사이버 영역의 최고 단계 — 회사 표현으로 '치명적(critical)' 역량이다.

그 정의는 대략 이렇다: 모델이 사람의 지시 없이 실제로 잘 방어된 시스템에서 알려지지 않은 취약점을 발견하고, 그 취약점을 쓸 수 있는 공격 코드를 만들어, 실행까지 연결할 수 있는 상태. 오픈AI는 아스트라가 에이전트형 코딩과 자율 보안 과제에서 큰 진전을 보이며 이 문턱으로 밀려 올라갔다고 설명했다.

중요한 것은 이 문턱이 지금까지 이론적 기준선이었다는 점이다. 등급표는 몇 년째 존재했지만, 어떤 회사도 자사 모델이 최고 등급에 닿았다고 공개적으로 말한 적은 없었다.

2. 무엇이 멈췄고 무엇이 붙었나

⑤가 이 목록에서 가장 새롭다. 결과물만 걸러내는 필터가 아니라 모델이 답을 만들어가는 중간 사고 과정을 계속 지켜보다가, 위험한 방향으로 가면 도중에 멈춘다는 설계다. 출력 검열에서 과정 감시로 통제 지점이 옮겨간 것인데, 이는 모델이 최종 답변에서는 무해해 보이면서 과정에서 위험한 작업을 수행할 수 있다는 인식을 전제한다.

3. 경쟁 규칙에 생긴 첫 균열

지난 몇 년간 프론티어 모델 경쟁의 규칙은 단순했다. 더 센 모델을 더 먼저 내놓는 쪽이 이긴다. 8주에 다섯 개를 쏟아낸 중국 모델들도, 무료 정책으로 기본값을 잡으려는 시도도 모두 그 규칙 위에 있었다.

아스트라 보류는 그 규칙에 회사 스스로 예외를 만든 사례다. 다만 성급한 해석은 경계해야 한다. 이것이 산업 전체의 규범이 되려면 (1) 다른 회사들이 같은 기준으로 자사 모델을 평가하고, (2) 그 평가를 외부가 검증할 수 있어야 하는데, 둘 다 아직 없다. 지난주 백악관이 내놓은 출시 전 검증 프레임워크가 향하는 지점이 정확히 여기다.

그리고 반대 방향의 위험도 남는다. 한 회사가 자율 규제로 늦추는 동안 같은 역량을 규제 밖에서 개발하는 주체가 있다면, 늦춘 쪽만 손해를 본다. 자율 규제가 국제 표준으로 굳지 않으면 이 조치는 선례가 아니라 일화로 끝난다.

4. 남은 것 · 확인되지 않은 것

'치명적' 등급 도달은 오픈AI의 예비 내부 평가 결과이고, 외부 검증 기관의 독립 평가는 공개되지 않았다. 자사 모델의 위험을 자사가 판정하는 구조 — 지난주 기사에서 지적한 그 문제 — 는 그대로다. 아스트라의 공개 시점, 성능 사양, 보류된 활동의 범위도 발표되지 않았다.

제로데이가 무엇이고 AI가 그것을 스스로 찾는다는 것이 왜 다른 문제인지는 오늘 함께 발행한 「제로데이란」에 정리했다. 평가 환경 인식 문제는 「AI가 시험장을 빠져나왔다」에, 미국 정부의 출시 전 검증 체계는 「출시 전 30일, 정부가 먼저 본다」에서 이어진다.