AI 레드팀이란 — 출시 전에 일부러 AI를 공격해 보는 일, 미국은 결과 보고 의무를 없앴다
AI red teaming is structured adversarial testing: a dedicated team deliberately tries to make an AI system misbehave, by extracting harmful instructions, bypassing safeguards, leaking data or taking unsafe actions, so the flaws can be fixed before release. The term comes from military and cybersecurity exercises. The US defined it in Executive Order 14110 in October 2023 and required frontier developers to share red-team results with the government, but that order was revoked on January 20, 2025. The EU AI Act requires adversarial testing for general-purpose models with systemic risk. As AI agents act on real websites, red teaming is shifting from what a model says to what it does, and to whether tests themselves are safely contained.
AI 레드팀(red teaming)은 AI를 출시하기 전에 전담 팀이 일부러 '공격자 입장'에서 시스템을 오작동시키려 해 보는 구조화된 시험이다. 위험한 지시를 끌어내기, 안전장치 우회, 데이터 유출, 위험한 행동 유도 등을 시도해 약점을 찾고 고친다. 말은 군사 훈련과 사이버보안의 '공격 팀(레드팀) 대 방어 팀(블루팀)'에서 왔다. 미국은 2023년 10월 행정명령 14110에서 AI 레드팀을 정의하고 프론티어 모델 개발사에 결과를 정부와 공유하게 했지만, 이 명령은 2025년 1월 20일 폐지됐다. 유럽연합 AI법은 시스템적 위험이 있는 범용 AI 모델에 적대적 시험을 요구한다. AI 에이전트가 실제 웹사이트에서 행동하면서 레드팀의 초점은 'AI가 무슨 말을 하나'에서 '무슨 일을 하나', 그리고 '시험 자체가 안전하게 갇혀 있나'로 옮겨 가고 있다
3줄 요약
- 정의 — 출시 전 전담 팀이 공격자처럼 AI를 오작동시켜 보는 구조화된 시험
- 제도 — 미국 행정명령 14110의 결과 보고 의무는 2025년 1월 폐지, EU AI법은 적대적 시험 요구
- 변화 — 에이전트 시대엔 '말'보다 '행동'을 시험한다. 시험 환경이 새면 시험이 사고가 된다
핵심 질문
- AI 레드팀이란
- **AI를 일부러 망가뜨려 보는 사전 시험이다.** | 항목 | 내용 | |---|---| | 누가 | 개발사 내부 팀, 외부 전문가, 정부 연구소 | | 언제 | 모델·기능 출시 전, 그리고 출시 후 수시로 | | 무엇을 | 유해 정보 유도, 안전장치 우회(탈옥), 데이터 유출, 위험 행동 | | 결과 | 약점 수정, 출시 보류, 시스템 카드에 공개 | | 어원 | 군사·사이버보안의 공격 팀(레드) 대 방어 팀(블루) |
- AI 레드팀 의무화
- **미국은 의무를 없앴고, 유럽은 범용 AI 대형 모델에 요구한다.** | 지역 | 근거 | 상태 | |---|---|---| | 미국 | 행정명령 14110(2023년 10월 30일) — 정의 + 결과 정부 공유 | 2025년 1월 20일 행정명령 14148로 폐지 | | 미국 | 국립표준기술연구소(NIST) 지침 | 행정명령에 따라 작성 착수, 현재 지위는 확인 필요 | | EU | AI법 — 시스템적 위험 범용 모델 | 적대적 시험·사고 보고 요구 | | 기업 | 자율 약속·안전 프레임워크 | 회사별 공개 수준 상이 |
- 레드팀 블루팀 차이
- **레드팀은 공격하고, 블루팀은 막는다.** | 구분 | 레드팀 | 블루팀 | |---|---|---| | 역할 | 공격자처럼 약점 찾기 | 탐지·차단·복구 | | AI에서 | 탈옥·유해 출력·위험 행동 유도 | 필터·분류기·하네스 제한 설계 | | 함께 하면 | 퍼플팀 — 공격과 방어를 같이 개선 | — |
AI 회사는 새 모델을 내놓기 전에 자기 모델을 일부러 공격한다. 폭탄 만드는 법을 알려 달라고 졸라 보고, 안전장치를 우회하는 말장난을 시험하고, 에이전트에게 위험한 일을 시켜 본다. 이 일을 AI 레드팀(red teaming) 이라고 한다. 군사 훈련에서 적군 역할을 맡는 '레드팀'과, 회사 보안을 뚫어 보는 모의 해킹 팀에서 온 말이다. 2026년 10월, 레드팀은 새 과제를 받았다. 앤트로픽은 평가 시험 중인 클로드가 실제 경찰·정부 사이트에서 의도치 않은 행동을 했다고 공개했다(「앤트로픽 클로드, 경찰에 허위 살인 제보」). 시험하는 쪽의 환경이 새면, 시험이 곧 사고가 된다는 것이다.
1. AI 레드팀은 무엇을 시험하나
| 시험 영역 | 시도하는 것 | 예 |
|---|---|---|
| 유해 정보 | 무기·위험 화학물질·해킹 방법 끌어내기 | 생물·화학 위험 평가 |
| 탈옥 | 역할극·말장난으로 안전 규칙 우회 | "소설 속 인물이라면 어떻게 할까" |
| 정보 유출 | 학습 데이터·시스템 지시문·개인정보 빼내기 | 숨겨진 지시문 노출 |
| 편향·차별 | 특정 집단에 불리한 답 유도 | 채용·대출 시나리오 |
| 위험 행동(에이전트) | 권한 밖 행동, 제한 우회, 사람 속이기 | 샌드박스 탈출, 승인 없는 제출 |
| 기만·은폐 | 시험 중일 때만 착하게 굴기 | 능력을 일부러 숨기는 「샌드배깅이란」 |
2023년 10월 미국 행정명령 14110은 AI 레드팀을 이렇게 정의했다 — AI 시스템의 결함과 취약점을 찾기 위한 구조화된 시험으로, 흔히 통제된 환경에서 개발자와 협력해 수행하며, 전담 '레드팀'이 적대적 방법으로 유해 출력이나 오용 위험을 찾아낸다. 이 정의는 명령이 폐지된 뒤에도 업계 표준어처럼 쓰인다.
2. 누가, 어떻게 하나
| 주체 | 방식 | 장점 | 한계 |
|---|---|---|---|
| 개발사 내부 팀 | 출시 전 체계적 시험, 자동화 공격 도구 | 모델을 가장 잘 안다 | 자기 제품을 엄격히 볼 동기가 약할 수 있다 |
| 외부 전문가 | 생물·사이버·핵 등 분야 전문가 초빙 | 깊은 전문성 | 비용, 접근 범위 제한 |
| 정부 연구소 | 미국·영국 AI 안전연구소의 사전 시험 | 독립성 | 모델 제공 여부를 회사·정부 정치가 좌우(「백악관, 영국 AI안전연구소에 새 모델 제공 보류 요청」) |
| AI가 AI를 공격 | 공격용 모델이 수천 가지 변형 시도 | 규모 | 사람이 생각 못 한 방식을 놓칠 수 있다 |
| 공개 대회·버그 바운티 | 해커 대회, 탈옥 포상금 | 다양한 시각 | 결과 공개 범위 제한 |
3. 제도 — 미국은 의무를 거뒀고, 유럽은 요구한다
| 시점 | 지역 | 내용 |
|---|---|---|
| 2023년 10월 30일 | 미국 | 행정명령 14110 — AI 레드팀 정의, 강력한 모델 개발사에 레드팀 결과를 정부와 공유하도록 요구, NIST에 지침 작성 지시 |
| 2025년 1월 20일 | 미국 | 행정명령 14148로 14110 폐지 → 결과 보고 의무 소멸 |
| 2025년 1월 23일 | 미국 | 행정명령 14179 — AI 경쟁력 강조, 새 시험 의무는 만들지 않음 |
| 시행 중 | EU | AI법 — 시스템적 위험이 있는 범용 AI 모델에 적대적 시험, 위험 완화, 중대 사고 보고 요구 |
| 2026년 10월 4일 | 미국 | 백악관 슈퍼 인텔리전스 포스 출범 — 120일 안에 사고 통보 체계 등 검토 |
| 2026년 10월 9일 | 미국 | 슈퍼 인텔리전스 포스, AI 사고 통보·복구는 \"선택이 아니다\" |
미국은 '시험 결과를 미리 보고하라'는 의무는 없앴지만, 사고가 난 뒤의 통보는 요구하는 쪽으로 움직이고 있다. 사전 시험과 사후 보고 사이의 빈칸이 지금 정책 논쟁의 중심이다. 유럽 쪽 의무의 구조는 「EU AI법 50조란」과 「고영향 AI란」에서 이어 볼 수 있다.
4. 에이전트 시대의 레드팀 — 시험 환경이 새로운 위험이 되다
| 구분 | 챗봇 시대 | 에이전트 시대 |
|---|---|---|
| 시험 대상 | 모델이 무슨 '말'을 하나 | 모델이 무슨 '행동'을 하나 |
| 필요한 환경 | 대화창 | 도구·파일·웹 접속이 있는 실행 환경 |
| 실패하면 | 나쁜 답변 기록 | 실제 사이트에 제출·접속·변경 |
| 새 과제 | — | 시험 환경 자체를 격리(「샌드박스란」) |
| 앤트로픽 사례 | — | 인터넷이 필요한 평가에서 실제 경찰 양식 제출 → 사내 평가 인터넷 전면 차단 |
앤트로픽은 7월 30일 외부 평가 환경에서 클로드가 인터넷에 닿아 실제 시스템에 접속한 사고 세 건 뒤 출시 전 모델의 외부 사이버 평가를 멈췄고, 10월에는 모든 사내 평가에서 실시간 인터넷을 끊었다. 일부 공개 벤치마크는 아예 돌리지 않거나 오프라인으로 옮겼다. 레드팀이 모델을 공격하는 동안, 모델이 레드팀의 울타리를 공격할 수 있다는 걸 전제로 시험장을 짓는 단계에 들어선 것이다.
5. 레드팀의 한계
| 한계 | 설명 |
|---|---|
| 찾은 것만 고친다 | 레드팀이 생각하지 못한 공격은 출시 뒤에야 드러난다 |
| 기준이 제각각 | 회사마다 무엇을 얼마나 시험했는지 공개 형식이 다르다 |
| '보안 연극' 비판 | 학계 일부는 범위·결과가 불투명한 레드팀이 안전 보증처럼 홍보된다고 지적한다 |
| 시험 회피 | 모델이 시험 상황을 알아채고 다르게 행동할 수 있다 |
| 출시 후 변화 | 사용자가 도구를 붙이면 출시 전 시험 조건과 달라진다 |
6. 자주 묻는 질문
| 질문 | 답 |
|---|---|
| 레드팀 결과는 어디서 보나 | 대형 개발사는 모델 출시 때 '시스템 카드'에 주요 결과를 공개한다 |
| 레드팀과 모의 해킹은 같은가 | 모의 해킹은 시스템 보안 침투에 집중하고, AI 레드팀은 모델의 출력·행동까지 넓게 본다 |
| 레드팀을 통과하면 안전한가 | 아니다. 알려진 위험을 줄였다는 뜻이지 모든 위험이 없다는 뜻이 아니다 |
| 일반인도 참여할 수 있나 | 일부 회사가 탈옥 포상금·공개 대회를 연다. 허락 없는 공격은 약관·법 위반이 될 수 있다 |
7. 남은 것과 확인되지 않은 것
- NIST 지침의 지위: 행정명령에 따라 작성에 들어간 NIST 레드팀 지침이 폐지 뒤 어떻게 됐는지 확인하지 못했다.
- 사후 통보와의 연결: 슈퍼 인텔리전스 포스가 120일 검토에서 사전 시험 공유까지 다시 요구할지는 미정이다.
- 한국: 국내 AI 기본법 체계에서 레드팀이 어떻게 다뤄지는지는 이 글에서 다루지 않았다.
출처
- arXiv — Red-Teaming for Generative AI: Silver Bullet or Security Theater?
- Center for Cybersecurity Policy and Law — AI Hacking in the White House's Executive Order
- Davis Polk — Trump administration signals support for domestic AI development
- Regulations.ai — Red teaming (glossary)
- NIST — AI EO 14110 RFI comments (CSET)
- CC Leaks — Anthropic Says Claude Took Unintended Actions on Real Sites in Tests