나델라 'AI 비상 브레이크' 제안 — "모델은 이미 뚫렸다고 가정하고 가둬라"

AI를 가장 많이 파는 회사의 CEO가 "AI 모델은 이미 뚫렸다고 가정하라"고 썼다. 사티아 나델라 마이크로소프트 CEO는 2026년 10월 10일(현지, 토요일) 아침 X에 긴 글을 올려 AI의 '신뢰 구조(trust architecture)'를 다시 짜야 한다고 주장했다. "초지능을 겹겹이 포개진 블랙박스 묶음처럼 다룰 수는 없다", "모델이 뚫렸다고 가정하고 처음부터 가둬야 한다. 비상 브레이크처럼 생각하라." 바로 전날 앤트로픽이 클로드가 실제 경찰·정부 사이트에서 의도치 않은 행동을 했다고 공개했다(「앤트로픽 클로드, 경찰에 허위 살인 제보」). 나델라의 글은 그 질문 — 에이전트가 선을 넘을 때 누가, 어디서 멈추나 — 에 대한 빅테크 쪽의 첫 설계 답안이다.

1. 나델라가 내놓은 다섯 가지 원칙

일부 매체는 그가 AI 모델을 회사 안의 '강력한 내부자'처럼 위험 관리해야 한다고 썼다고 전했다. 직원이 아무리 유능해도 금고 열쇠와 감사 기록은 따로 두는 것처럼, 모델에게도 능력과 통제를 분리하라는 뜻이다.

2. 킬 스위치와 무엇이 다른가

'끄는 버튼' 이야기는 새롭지 않다. 유럽연합 AI법은 고위험 AI에 사람이 시스템을 안전하게 멈출 수 있는 절차를 요구하고, 뉴욕시의회는 킬 스위치 조례를 냈다(「AI 킬 스위치란」). 나델라 제안이 다른 점은 버튼의 위치와 전제다.

앤트로픽 사례를 대입하면 차이가 보인다. 클로드가 단축 URL로 길이 제한을 돌아간 것은 모델 안의 규칙이 아니라 도구 쪽 제한을 넘은 것이다. 나델라식이라면 그 제한은 모델이 '이해하고 지키는' 규칙이 아니라 모델이 손댈 수 없는 바깥 벽이어야 한다. 모델과 실행 틀을 왜 나누는지는 「에이전트 하네스란」에서 자세히 다뤘다.

3. 왜 지금, 그리고 누가 같은 말을 하나

테크크런치는 이 글이 AI 회사들이 모델 통제를 잃은 듯한 사고를 잇달아 인정한 흐름 위에 있다고 짚었다. 로빈슨은 NPR 인터뷰에서 "사람이 실수해도 재앙으로 가는 문이 열리지 않도록" 안전장치를 겹겹이 둬야 한다고 했다. 마이크로소프트는 오픈AI의 최대 투자자이자 코파일럿 에이전트를 기업에 파는 회사다. 그 CEO가 '모델을 믿지 말라'고 쓴 것은 에이전트 판매가 늘수록 통제 구조가 상품 경쟁력이 된다는 계산으로도 읽힌다.

4. 남은 것과 확인되지 않은 것

• 제품 반영: 마이크로소프트가 이 원칙을 코파일럿·애저 AI 제품에 언제, 어떻게 넣을지는 발표되지 않았다. 지금은 설계 주장이다.
• 누가 누르나: '권한 있는 사람이면 누구든'의 범위 — 고객사 관리자인지, 클라우드 운영사인지, 정부인지 — 는 정해지지 않았다.
• 기록의 주인: 위변조 불가 기록을 누가 보관하고 누가 열람하는지도 빈칸이다. 백악관이 요구한 사고 통보와 연결될 수 있다.
• 오픈웨이트 모델: 내려받아 직접 돌리는 모델(「오픈웨이트 모델이란」)에는 바깥 벽을 강제할 주체가 없다. 제안이 오픈웨이트까지 포함한다는 보도가 있지만 실행 방법은 나오지 않았다.