AI 안전연구소란 — 출시 전 AI 모델을 먼저 받아 시험하는 정부 기관, 미국·영국·한국은 무엇이 다른가
An AI safety institute (AISI) is a government body that tests advanced AI models for serious risks, often before they are released. The UK set up the first one in November 2023 and renamed it the AI Security Institute in February 2025; the US equivalent at NIST became the Center for AI Standards and Innovation (CAISI) in June 2025; Korea opened its AI Safety Institute under ETRI on November 27, 2024. Their access to unreleased models depends on voluntary agreements with labs, which is why a 17-day US freeze on UK access in September-October 2026 left Anthropic's Claude Mythos 5.1 untested in Britain.
AI 안전연구소(AISI, AI Safety Institute)는 최첨단 AI 모델이 사이버 공격·생물무기·통제 상실 같은 심각한 위험을 낳는지 시험하는 정부 기관이다. 핵심 업무는 개발사로부터 출시 전 모델을 미리 받아 공격·악용 가능성을 점검하는 '출시 전 시험'이다. 영국이 2023년 11월 처음 세웠고 2025년 2월 이름을 'AI 보안연구소(AI Security Institute)'로 바꿨다. 미국 기관은 2025년 6월 'AI 표준·혁신센터(CAISI)'로 개편됐고, 한국은 2024년 11월 27일 한국전자통신연구원(ETRI) 부설로 문을 열었다. 법적 강제권이 아니라 개발사와의 자발적 합의로 모델을 받기 때문에, 2026년 9~10월 미국이 영국 접근을 17일간 막자 앤트로픽 클로드 미토스 5.1이 영국 시험을 건너뛰었다
3줄 요약
- 정의 — 최첨단 AI 모델의 심각한 위험을 시험하는 정부 기관. 핵심은 출시 전 모델을 먼저 받아 보는 사전 시험
- 나라별 — 영국 2023년 11월 설립·2025년 2월 'AI 보안연구소'로 개명, 미국 2025년 6월 CAISI로 개편, 한국 2024년 11월 27일 ETRI 부설 개소
- 한계 — 강제권이 아니라 자발적 합의로 모델을 받는다. 2026년 9~10월 17일 보류로 시험 공백이 실제로 생겼다
핵심 질문
- AI 안전연구소란
- **최첨단 AI 모델이 심각한 피해를 낼 수 있는지 출시 전후로 시험하는 정부 기관이다.** | 항목 | 내용 | |---|---| | 영문 | AI Safety Institute(AISI) | | 주 업무 | 출시 전 모델 시험, 평가 방법 연구, 정부 자문 | | 시험 대상 위험 | 사이버 공격, 화학·생물 무기, 자율 행동·통제 상실 | | 모델 확보 방식 | 개발사와의 자발적 합의 | | 처음 세운 나라 | 영국(2023년 11월) |
- 영국 AI 보안연구소 개명 이유
- **2025년 2월 '안전(Safety)'을 '보안(Security)'으로 바꾸며 국가안보 위험에 집중하겠다고 했다. 약칭 AISI는 그대로다.** | 구분 | 개명 전 | 개명 후 | |---|---|---| | 이름 | AI Safety Institute | AI Security Institute | | 시점 | 2023년 11월 설립 | 2025년 2월 14일 발표 | | 초점 | 넓은 의미의 AI 안전 | 사이버·범죄·국방 등 심각한 위험 | | 빠진 것 | — | 편향·표현의 자유 문제 | | 새로 생긴 것 | — | 국방과학기술연구소 협력, 범죄 악용 대응팀 |
- 한국 AI안전연구소 언제 생겼나
- **2024년 11월 27일 한국전자통신연구원(ETRI) 부설 기관으로 문을 열었다.** | 항목 | 내용 | |---|---| | 개소 | 2024년 11월 27일 | | 소속 | ETRI 부설 | | 초대 소장 | 김명주 서울여대 교수(2024년 11월 12일 임명) | | 조직 | AI 안전 정책·평가·기술 3개 연구실 | | 협력 | 기업·기관 24곳 'AI 안전 컨소시엄' |
AI 안전연구소는 'AI의 출시 전 검사소'에 가깝다. 새 약이 시판 전에 임상 시험을 거치듯, 가장 강력한 AI 모델을 공개 전에 받아 위험한 일을 할 수 있는지 시험한다. 다만 결정적인 차이가 하나 있다 — 약은 법으로 시험을 강제하지만, AI 모델은 대부분 개발사가 자발적으로 넘겨줄 때만 시험할 수 있다.
이 차이가 2026년 9~10월 실제로 드러났다. 미국 백악관이 9월 24일 오픈AI·앤트로픽에 영국 기관으로의 모델 제공을 미루라고 요청하자, 앤트로픽의 클로드 미토스 5.1은 영국 시험 없이 지나갔다. 요청은 17일 만인 10월 11일 철회됐다(「백악관, 영국 AI안전연구소 모델 접근 복원」).
1. 무엇을 하는 곳인가
| 업무 | 내용 | 예 |
|---|---|---|
| 출시 전 시험 | 공개 전 모델을 받아 위험 능력 점검 | 해킹 과제 수행 능력, 생물무기 정보 제공 여부 |
| 출시 후 평가 | 공개된 모델의 실제 위험 추적 | 에이전트의 무단 행동 사례 수집 |
| 평가 방법 연구 | 어떤 시험이 위험을 잘 잡는지 연구 | 벤치마크·레드팀 기법 개발 |
| 정부 자문 | 규제·안보 정책에 근거 제공 | 사고 보고 기준, 조달 기준 |
| 국제 협력 | 다른 나라 기관과 시험 결과 공유 | 공동 시험, 평가 기준 맞추기 |
AI 안전연구소의 시험은 개발사의 자체 '레드팀'(「AI 레드팀이란」)과 겹치지만 목적이 다르다. 개발사 레드팀은 출시 여부를 스스로 정하기 위해 시험하고, 정부 기관은 개발사와 이해관계가 없는 제3자로서 시험한다. 영국 기관의 시험관들은 AI 에이전트가 시키지 않은 행동을 하는 사례를 잡아낸 적이 있다.
2. 나라별로 무엇이 다른가
| 나라 | 기관명 | 설립·개편 | 소속 | 초점 |
|---|---|---|---|---|
| 영국 | AI 보안연구소(AI Security Institute, AISI) | 2023년 11월 설립, 2025년 2월 개명 | 과학혁신기술부 | 사이버·범죄·국방 등 심각한 위험 |
| 미국 | AI 표준·혁신센터(CAISI) | 2023년 AI 안전연구소로 설립, 2025년 6월 개편 | 상무부 국립표준기술연구소(NIST) | 사이버·생물·화학 위협, 외국 AI 평가 |
| 한국 | AI안전연구소 | 2024년 11월 27일 개소 | 한국전자통신연구원(ETRI) 부설 | AI 안전 정책·평가·기술 |
세 나라 모두 처음에는 '안전(Safety)'을 내걸었지만, 영국과 미국은 2025년에 이름에서 그 단어를 뺐다. 영국은 피터 카일 당시 과학기술부 장관이 뮌헨 안보회의에서 개명을 발표하며 편향·표현의 자유 문제 대신 "가장 심각한 위험"에 집중하겠다고 했다. 미국은 하워드 러트닉 상무장관이 개편을 발표하며 사이버·생물·화학 위협과 함께 외국 정부의 과도한 규제로부터 미국 기술을 지키는 역할을 새로 맡겼다. 한국 기관은 개소 때 정책·평가·기술 3개 연구실로 시작했고, 24개 기업·기관과 'AI 안전 컨소시엄'을 꾸렸다.
블룸버그는 영국 기관을 프론티어 모델을 정기적으로 시험하는 정부 기관 중 예산이 가장 많은 곳으로 평가한다. 미국 CAISI는 상임 책임자가 없고 인력이 수십 명 규모라는 지적이 나온 바 있다(「백악관, 영국 AI안전연구소에 새 모델 제공 보류 요청」).
3. 왜 '모델 접근'이 전부인가
| 상황 | 결과 |
|---|---|
| 개발사가 출시 전 모델을 준다 | 공개 전에 위험을 찾아 고칠 수 있다 |
| 개발사가 주지 않는다 | 공개 뒤에야 시험 — 이미 수많은 사용자에게 퍼진 뒤 |
| 자국 정부가 제공을 막는다 | 다른 나라 기관은 법적 수단 없음(2026년 9~10월 영국 사례) |
| 개발사가 일부 국가에만 준다 | 나라마다 시험 범위가 달라짐(미토스 5.1은 미국 기관만) |
AI 안전연구소의 힘은 법이 아니라 신뢰와 합의에서 나온다. 그래서 국가 간 관계가 흔들리면 시험 체계도 함께 흔들린다. 미국은 자국 회사 모델은 미국 심사가 먼저라는 입장이고, 영국은 "남의 기술에 의존할 때는 어떤 결과도 영원하지 않다"(카니시카 나라얀 영국 AI 담당 장관)며 별도 대비에 들어갔다. 구글·마이크로소프트·xAI는 미국의 출시 전 심사에 동의했다.
4. 자주 묻는 질문
| 질문 | 답 |
|---|---|
| 안전연구소 시험을 통과하면 안전한가 | 아니다. 알려진 위험 유형을 점검했다는 뜻이고, 결과 대부분은 공개되지 않는다 |
| 시험 결과는 어디서 보나 | 개발사 시스템 카드에 '외부 평가 참여' 정도로만 언급되는 경우가 많다 |
| 시험을 거부하면 처벌받나 | 현재 영국·미국·한국 모두 자발적 합의 방식이라 처벌 규정이 없다 |
| 한국 기관도 해외 모델을 시험하나 | 국제 네트워크로 협력하지만, 해외 출시 전 모델 접근 범위는 공개되지 않았다 |
| AI 안전과 AI 보안은 다른가 | 안전은 오작동·통제 상실까지 넓게, 보안은 악용·공격 같은 위협 중심으로 본다 |
5. 남은 것과 확인되지 않은 것
- 미토스 5.1: 보류 기간에 빠진 모델을 영국이 지금이라도 시험하는지는 발표되지 않았다.
- 한국 기관 현황: 2026년 10월 현재 소장·인력·예산은 이번 취재에서 확인하지 못했다.
- 법제화 여부: 출시 전 시험을 법으로 강제하는 나라는 아직 없다. 영국은 핵심 기반시설 관련 AI 보안 사고 보고 의무를 강화하겠다고 예고했다.
- 새 모델들: 2026년 10월 12일 공개된 메타 뮤즈 원더(「메타 뮤즈 원더 공개」)가 출시 전 외부 시험을 받았는지는 공개되지 않았다.
출처
- Silicon Republic — UK's AI Safety Institute renamed to reflect new focus
- FedScoop — Trump administration rebrands AI Safety Institute as CAISI
- 전자신문 — AI안전연구소 공식 출범…"AI 폐해, 체계적 대응한다"
- 전자신문 — AI안전연구소 초대 소장에 김명주 서울여대 교수
- The Next Web — UK says it will again test OpenAI and Anthropic models before release
- The Decoder — White House reverses course and restores UK AI Safety Institute's access