본문으로 건너뛰기
TEN Brief 하루 열 건, 확인된 것만 2026.10.13 EN

This article is also available in English →

테크 · 4분 · 검색 의도

AI 안전연구소란 — 출시 전 AI 모델을 먼저 받아 시험하는 정부 기관, 미국·영국·한국은 무엇이 다른가

An AI safety institute (AISI) is a government body that tests advanced AI models for serious risks, often before they are released. The UK set up the first one in November 2023 and renamed it the AI Security Institute in February 2025; the US equivalent at NIST became the Center for AI Standards and Innovation (CAISI) in June 2025; Korea opened its AI Safety Institute under ETRI on November 27, 2024. Their access to unreleased models depends on voluntary agreements with labs, which is why a 17-day US freeze on UK access in September-October 2026 left Anthropic's Claude Mythos 5.1 untested in Britain.

AI 안전연구소(AISI, AI Safety Institute)는 최첨단 AI 모델이 사이버 공격·생물무기·통제 상실 같은 심각한 위험을 낳는지 시험하는 정부 기관이다. 핵심 업무는 개발사로부터 출시 전 모델을 미리 받아 공격·악용 가능성을 점검하는 '출시 전 시험'이다. 영국이 2023년 11월 처음 세웠고 2025년 2월 이름을 'AI 보안연구소(AI Security Institute)'로 바꿨다. 미국 기관은 2025년 6월 'AI 표준·혁신센터(CAISI)'로 개편됐고, 한국은 2024년 11월 27일 한국전자통신연구원(ETRI) 부설로 문을 열었다. 법적 강제권이 아니라 개발사와의 자발적 합의로 모델을 받기 때문에, 2026년 9~10월 미국이 영국 접근을 17일간 막자 앤트로픽 클로드 미토스 5.1이 영국 시험을 건너뛰었다

햇살 드는 연구실에서 모니터를 함께 살펴보는 연구원 두 명의 뒷모습

3줄 요약

  • 정의 — 최첨단 AI 모델의 심각한 위험을 시험하는 정부 기관. 핵심은 출시 전 모델을 먼저 받아 보는 사전 시험
  • 나라별 — 영국 2023년 11월 설립·2025년 2월 'AI 보안연구소'로 개명, 미국 2025년 6월 CAISI로 개편, 한국 2024년 11월 27일 ETRI 부설 개소
  • 한계 — 강제권이 아니라 자발적 합의로 모델을 받는다. 2026년 9~10월 17일 보류로 시험 공백이 실제로 생겼다

핵심 질문

AI 안전연구소란
**최첨단 AI 모델이 심각한 피해를 낼 수 있는지 출시 전후로 시험하는 정부 기관이다.** | 항목 | 내용 | |---|---| | 영문 | AI Safety Institute(AISI) | | 주 업무 | 출시 전 모델 시험, 평가 방법 연구, 정부 자문 | | 시험 대상 위험 | 사이버 공격, 화학·생물 무기, 자율 행동·통제 상실 | | 모델 확보 방식 | 개발사와의 자발적 합의 | | 처음 세운 나라 | 영국(2023년 11월) |
영국 AI 보안연구소 개명 이유
**2025년 2월 '안전(Safety)'을 '보안(Security)'으로 바꾸며 국가안보 위험에 집중하겠다고 했다. 약칭 AISI는 그대로다.** | 구분 | 개명 전 | 개명 후 | |---|---|---| | 이름 | AI Safety Institute | AI Security Institute | | 시점 | 2023년 11월 설립 | 2025년 2월 14일 발표 | | 초점 | 넓은 의미의 AI 안전 | 사이버·범죄·국방 등 심각한 위험 | | 빠진 것 | — | 편향·표현의 자유 문제 | | 새로 생긴 것 | — | 국방과학기술연구소 협력, 범죄 악용 대응팀 |
한국 AI안전연구소 언제 생겼나
**2024년 11월 27일 한국전자통신연구원(ETRI) 부설 기관으로 문을 열었다.** | 항목 | 내용 | |---|---| | 개소 | 2024년 11월 27일 | | 소속 | ETRI 부설 | | 초대 소장 | 김명주 서울여대 교수(2024년 11월 12일 임명) | | 조직 | AI 안전 정책·평가·기술 3개 연구실 | | 협력 | 기업·기관 24곳 'AI 안전 컨소시엄' |

AI 안전연구소는 'AI의 출시 전 검사소'에 가깝다. 새 약이 시판 전에 임상 시험을 거치듯, 가장 강력한 AI 모델을 공개 전에 받아 위험한 일을 할 수 있는지 시험한다. 다만 결정적인 차이가 하나 있다 — 약은 법으로 시험을 강제하지만, AI 모델은 대부분 개발사가 자발적으로 넘겨줄 때만 시험할 수 있다.

이 차이가 2026년 9~10월 실제로 드러났다. 미국 백악관이 9월 24일 오픈AI·앤트로픽에 영국 기관으로의 모델 제공을 미루라고 요청하자, 앤트로픽의 클로드 미토스 5.1은 영국 시험 없이 지나갔다. 요청은 17일 만인 10월 11일 철회됐다(「백악관, 영국 AI안전연구소 모델 접근 복원」).

1. 무엇을 하는 곳인가

업무내용예
출시 전 시험공개 전 모델을 받아 위험 능력 점검해킹 과제 수행 능력, 생물무기 정보 제공 여부
출시 후 평가공개된 모델의 실제 위험 추적에이전트의 무단 행동 사례 수집
평가 방법 연구어떤 시험이 위험을 잘 잡는지 연구벤치마크·레드팀 기법 개발
정부 자문규제·안보 정책에 근거 제공사고 보고 기준, 조달 기준
국제 협력다른 나라 기관과 시험 결과 공유공동 시험, 평가 기준 맞추기

AI 안전연구소의 시험은 개발사의 자체 '레드팀'(「AI 레드팀이란」)과 겹치지만 목적이 다르다. 개발사 레드팀은 출시 여부를 스스로 정하기 위해 시험하고, 정부 기관은 개발사와 이해관계가 없는 제3자로서 시험한다. 영국 기관의 시험관들은 AI 에이전트가 시키지 않은 행동을 하는 사례를 잡아낸 적이 있다.

2. 나라별로 무엇이 다른가

나라기관명설립·개편소속초점
영국AI 보안연구소(AI Security Institute, AISI)2023년 11월 설립, 2025년 2월 개명과학혁신기술부사이버·범죄·국방 등 심각한 위험
미국AI 표준·혁신센터(CAISI)2023년 AI 안전연구소로 설립, 2025년 6월 개편상무부 국립표준기술연구소(NIST)사이버·생물·화학 위협, 외국 AI 평가
한국AI안전연구소2024년 11월 27일 개소한국전자통신연구원(ETRI) 부설AI 안전 정책·평가·기술

세 나라 모두 처음에는 '안전(Safety)'을 내걸었지만, 영국과 미국은 2025년에 이름에서 그 단어를 뺐다. 영국은 피터 카일 당시 과학기술부 장관이 뮌헨 안보회의에서 개명을 발표하며 편향·표현의 자유 문제 대신 "가장 심각한 위험"에 집중하겠다고 했다. 미국은 하워드 러트닉 상무장관이 개편을 발표하며 사이버·생물·화학 위협과 함께 외국 정부의 과도한 규제로부터 미국 기술을 지키는 역할을 새로 맡겼다. 한국 기관은 개소 때 정책·평가·기술 3개 연구실로 시작했고, 24개 기업·기관과 'AI 안전 컨소시엄'을 꾸렸다.

블룸버그는 영국 기관을 프론티어 모델을 정기적으로 시험하는 정부 기관 중 예산이 가장 많은 곳으로 평가한다. 미국 CAISI는 상임 책임자가 없고 인력이 수십 명 규모라는 지적이 나온 바 있다(「백악관, 영국 AI안전연구소에 새 모델 제공 보류 요청」).

3. 왜 '모델 접근'이 전부인가

상황결과
개발사가 출시 전 모델을 준다공개 전에 위험을 찾아 고칠 수 있다
개발사가 주지 않는다공개 뒤에야 시험 — 이미 수많은 사용자에게 퍼진 뒤
자국 정부가 제공을 막는다다른 나라 기관은 법적 수단 없음(2026년 9~10월 영국 사례)
개발사가 일부 국가에만 준다나라마다 시험 범위가 달라짐(미토스 5.1은 미국 기관만)

AI 안전연구소의 힘은 법이 아니라 신뢰와 합의에서 나온다. 그래서 국가 간 관계가 흔들리면 시험 체계도 함께 흔들린다. 미국은 자국 회사 모델은 미국 심사가 먼저라는 입장이고, 영국은 "남의 기술에 의존할 때는 어떤 결과도 영원하지 않다"(카니시카 나라얀 영국 AI 담당 장관)며 별도 대비에 들어갔다. 구글·마이크로소프트·xAI는 미국의 출시 전 심사에 동의했다.

4. 자주 묻는 질문

질문답
안전연구소 시험을 통과하면 안전한가아니다. 알려진 위험 유형을 점검했다는 뜻이고, 결과 대부분은 공개되지 않는다
시험 결과는 어디서 보나개발사 시스템 카드에 '외부 평가 참여' 정도로만 언급되는 경우가 많다
시험을 거부하면 처벌받나현재 영국·미국·한국 모두 자발적 합의 방식이라 처벌 규정이 없다
한국 기관도 해외 모델을 시험하나국제 네트워크로 협력하지만, 해외 출시 전 모델 접근 범위는 공개되지 않았다
AI 안전과 AI 보안은 다른가안전은 오작동·통제 상실까지 넓게, 보안은 악용·공격 같은 위협 중심으로 본다

5. 남은 것과 확인되지 않은 것

  • 미토스 5.1: 보류 기간에 빠진 모델을 영국이 지금이라도 시험하는지는 발표되지 않았다.
  • 한국 기관 현황: 2026년 10월 현재 소장·인력·예산은 이번 취재에서 확인하지 못했다.
  • 법제화 여부: 출시 전 시험을 법으로 강제하는 나라는 아직 없다. 영국은 핵심 기반시설 관련 AI 보안 사고 보고 의무를 강화하겠다고 예고했다.
  • 새 모델들: 2026년 10월 12일 공개된 메타 뮤즈 원더(「메타 뮤즈 원더 공개」)가 출시 전 외부 시험을 받았는지는 공개되지 않았다.

출처

  1. Silicon Republic — UK's AI Safety Institute renamed to reflect new focus
  2. FedScoop — Trump administration rebrands AI Safety Institute as CAISI
  3. 전자신문 — AI안전연구소 공식 출범…"AI 폐해, 체계적 대응한다"
  4. 전자신문 — AI안전연구소 초대 소장에 김명주 서울여대 교수
  5. The Next Web — UK says it will again test OpenAI and Anthropic models before release
  6. The Decoder — White House reverses course and restores UK AI Safety Institute's access

검증

발행
최종 수정
교차 확인
서로 다른 출처 6건을 대조했다.
미검증
  • 한국 AI안전연구소의 현재(2026년 10월) 소장과 조직 규모는 확인하지 못했다. 2025년 말까지의 보도 기준으로 적었다.
  • 미국 CAISI 개편 발표일은 매체에 따라 2025년 6월 3일과 6일로 다르다.
  • 각국 기관의 예산·인력 규모는 이번 취재에서 원문으로 확인하지 못했다.
  • 일본 등 다른 나라 기관과 국제 네트워크의 현재 운영 상황은 다루지 않았다.
작성
발행 전 사람이 검수했다. 수집·교차확인·재작성 절차는 편집 원칙.

하루 열 건, 아침에 한 번

3줄 요약만 보내고 전문은 사이트에서 읽습니다. 하단에서 한 번의 클릭으로 언제든 해지할 수 있습니다.

관련