증류 공격이란 — 남의 AI에 질문을 퍼부어 실력을 베끼는 수법, 앤트로픽은 90~99% 줄였다고 했다
A distillation attack is the unauthorized use of a rival AI model's outputs, harvested at scale through its API, to train a cheaper copy that inherits its capabilities. Unlike legitimate model distillation inside one company, it violates terms of service and can strip out safety training. On October 12, 2026 Anthropic said new defenses, including 'preserved thinking' for API accounts created on or after August 31, 2026 and a two-stage classifier, cut the data harvested by such attacks by about 90% to 99%, and named Zhipu's GLM-5.3 effort as one example.
증류 공격(distillation attack)은 경쟁사 AI 모델에 API로 대량의 질문을 보내 답과 추론 과정을 모은 뒤, 그 데이터로 자기 모델을 학습시켜 실력을 싸게 베끼는 수법이다. 한 회사가 자기 큰 모델로 작은 모델을 가르치는 정상적인 '모델 증류'와 기술은 같지만, 남의 모델을 허락 없이 쓴다는 점에서 이용약관 위반이고 원본 모델의 안전 장치가 빠진 복제품이 나올 수 있다. 앤트로픽은 2026년 10월 12일 새 방어 장치로 증류 공격이 빼 가는 데이터를 약 90~99% 줄였다고 밝히며, 중국 즈푸(Z.ai)의 GLM-5.3 개발을 사례로 들었다
3줄 요약
- 정의 — 남의 AI에 대량 질문을 보내 답을 모아 자기 모델을 학습시키는 무단 복제. 정상 증류와 기술은 같고 허락 여부가 다르다
- 위험 — 개발비를 건너뛴 값싼 복제품, 안전 학습이 빠진 모델, 사이버 공격 능력 유출
- 방어 — 앤트로픽, 추론 기록 편집 차단과 2단계 분류기로 빼 가는 데이터 90~99% 감소 발표. 계정 수만 개 차단
핵심 질문
- 증류 공격 뜻
- **경쟁사 AI의 답을 대량으로 수집해 자기 모델을 가르치는 무단 복제 수법이다.** | 구분 | 정상 모델 증류 | 증류 공격 | |---|---|---| | 선생 모델 | 자기 회사 큰 모델 | 남의 회사 모델 | | 허락 | 필요 없음(자기 것) | 없음 — 이용약관 위반 | | 데이터 수집 | 내부에서 생성 | API로 대량 질문 | | 안전 장치 | 함께 설계 | 빠질 수 있음 | | 목적 | 싸고 빠른 모델 만들기 | 개발비 없이 실력 복제 |
- 앤트로픽 증류 공격 방어 방법
- **추론 기록 편집 차단, 2단계 분류기, 계정 차단의 세 겹이다.** | 장치 | 내용 | 효과(앤트로픽 발표) | |---|---|---| | 보존된 사고(preserved thinking) | 2026년 8월 31일 이후 만든 API 계정은 클로드의 이전 맥락을 편집할 수 없음 | 추론 데이터 추출 10~100분의 1 | | 2단계 분류기 | 9월 보고서에 적은 증류 수법을 모두 탐지 | — | | 계정 차단 | 증류 캠페인 연계 계정 수만 개 | — | | 종합 | — | 빼 가는 데이터 약 90~99% 감소 |
- 증류 공격 사례
- **앤트로픽은 중국 즈푸(Z.ai)가 GLM-5.3을 만들며 클로드의 사이버 능력을 증류하려 했다고 밝혔다.** | 단계 | 앤트로픽 설명 | |---|---| | 1 | 즈푸가 최신 클로드에서 사이버 보안 능력 증류 시도 | | 2 | 새 방어 장치로 공격 효율 저하 | | 3 | 구형 클로드 모델과 다른 연구소 모델로 전환 | | 즈푸 입장 | 이 기사에서 확인하지 못함 |
AI 모델을 통째로 훔치지 않아도 실력은 베낄 수 있다. 질문을 수십만, 수백만 번 던져 답을 모으고, 그 답으로 자기 모델을 가르치면 된다. 이것이 증류 공격이다. 앤트로픽은 2026년 10월 12일 새 방어 장치로 이런 공격이 빼 가는 데이터를 약 90~99% 줄였다고 발표했다. 같은 주 앤트로픽은 3분기 매출 168억 달러를 투자자들에게 보고했다(「앤트로픽 3분기 매출 168억 달러」). 모델의 실력이 곧 매출이라, 그 실력을 지키는 일이 사업의 핵심이 된 셈이다.
1. 정상 증류와 증류 공격은 무엇이 다른가
'증류'는 원래 정상적인 기술이다. 큰 모델(선생)의 답을 작은 모델(학생)이 따라 배우게 해, 값싸고 빠른 모델을 만든다. 원리와 사례는 「모델 증류란」에서 자세히 다뤘다.
| 구분 | 정상 모델 증류 | 증류 공격 |
|---|---|---|
| 선생 모델 | 자기 회사 큰 모델 | 남의 회사 모델 |
| 허락 | 자기 것이라 필요 없음 | 없음 — 대부분 이용약관이 금지 |
| 데이터 수집 | 내부에서 마음껏 생성 | API로 대량 질문, 여러 계정에 나눠 위장 |
| 노리는 것 | 비용 절감 | 개발비·연구 기간을 건너뛴 실력 |
| 안전 학습 | 함께 설계 | 원본의 거절·안전 장치가 빠질 수 있음 |
| 대표 사례 | 큰 모델 → 경량 모델 | 앤트로픽이 지목한 즈푸 GLM-5.3 |
문제는 세 가지다. 첫째, 수십억 달러를 들인 연구 결과를 API 요금 몇 푼에 가져간다. 둘째, 답만 베끼고 안전 학습은 베끼지 않으면 원본이 거절하던 위험한 요청에도 답하는 복제품이 나온다. 셋째, 앤트로픽은 사이버 공격 능력처럼 민감한 능력이 그대로 빠져나갈 수 있다고 우려했다.
2. 앤트로픽은 어떻게 막았나
| 장치 | 작동 방식 | 앤트로픽 발표 효과 |
|---|---|---|
| 보존된 사고 | 클로드 페이블 5.1·오퍼스 5.5부터, 2026년 8월 31일 이후 만든 API 계정은 클로드의 이전 맥락(추론 기록)을 편집할 수 없음 | 추론 데이터 추출이 이전의 10~100분의 1 |
| 2단계 분류기 | 1단계에서 의심 트래픽을 거르고 2단계에서 정밀 판정. 9월 보고서에 적은 증류 수법을 모두 탐지 | — |
| 계정 차단 | 증류 캠페인과 연계된 계정 수만 개 차단 | — |
| 종합 | — | 빼 가는 데이터 약 90~99% 감소 |
첫 번째 장치가 핵심이다. 증류 공격자는 모델의 '생각하는 과정(추론 기록)'을 원한다. 답만 있는 데이터보다 추론 과정이 담긴 데이터가 학생 모델을 훨씬 잘 가르치기 때문이다. 공격자는 이전 대화의 추론 기록을 고쳐 끼워 넣는 방식으로 원하는 추론을 끌어내곤 했는데, 앤트로픽은 새 계정에서 이를 막았다. 추론 과정을 길게 내는 모델의 원리는 「토크나이저란」에서 다룬 토큰 비용과도 연결된다.
3. 방어에는 대가가 있다
| 대가 | 내용 |
|---|---|
| 매출 포기 | 앤트로픽은 의도적으로 일부 유료 트래픽을 거절한다고 인정 |
| 일반 사용자 영향 | 정상 사용자도 맥락 편집 제한·오탐의 영향을 받을 수 있음 |
| 우회 | 공격자는 구형 모델·다른 회사 모델로 옮겨 감(즈푸 사례) |
| 군비 경쟁 | 방어 공개 → 새 우회법 개발이 반복 |
앤트로픽 설명에 따르면 즈푸는 최신 클로드에서 사이버 능력을 증류하려다 방어 장치에 막히자 구형 클로드와 다른 연구소 모델로 옮겨 갔다. 한 회사만 막아서는 끝나지 않는다는 뜻이다. 공개 가중치로 내놓은 모델은 애초에 증류할 필요도 없이 가져갈 수 있어(「오픈웨이트 모델이란」), 폐쇄형 모델 회사들만 이 문제에 돈을 쓰는 구조다.
4. 자주 묻는 질문
| 질문 | 답 |
|---|---|
| 증류 공격은 불법인가 | 대부분 이용약관 위반이다. 저작권·영업비밀 등 법적 판단은 나라와 사안마다 다르고, 확립된 판례는 아직 적다 |
| 내가 챗봇 답을 저장하면 증류인가 | 아니다. 그 답을 대량으로 모아 경쟁 모델을 학습시키는 것이 문제다 |
| 어떻게 탐지하나 | 질문 패턴(짧은 간격·체계적 주제 순회), 계정 연결 관계, 추론 기록 조작 시도를 본다 |
| 오픈AI·구글도 막나 | 각 사 약관이 경쟁 모델 학습용 사용을 금지한다. 구체적 방어 수치를 공개한 곳은 드물다 |
5. 남은 것과 확인되지 않은 것
- 독립 검증: 90~99%는 앤트로픽 자체 측정이다. 측정 대상(빼 간 데이터 전체 vs 추론 데이터)도 매체마다 다르게 보도됐다.
- 즈푸 반론: 즈푸 쪽 입장은 확인하지 못했다.
- 법적 판단: 증류 공격이 영업비밀 침해로 인정될 수 있는지는 미정이다. AI 회사 간 영업비밀 분쟁은 「애플 오픈AI 영업비밀 소송」에서 다뤘다.
출처
- BusinessWorld(로이터) — Anthropic says new safeguards sharply reduce AI distillation attacks
- Technology.org — Anthropic Says New Safeguards Cut Claude Distillation by 90% to 99%
- Pulse 2.0 — Anthropic Says New Defenses Cut Data Harvested Through AI Distillation Attacks By 90% To 99%
- Times of AI — Anthropic Cuts AI Distillation Attacks by Up to 99%
- arXiv — What Does It Mean to Break a Distillation Defense?