robots.txt란 — AI 크롤러를 막는 한 줄, 그리고 강제력이 없는 이유

robots.txt는 문 앞의 "관계자 외 출입 금지" 팻말이다. 예의 바른 손님은 돌아가지만, 팻말을 무시하는 손님을 막아 주지는 않는다. 2026년 10월 위키미디어 재단이 오픈AI의 것으로 보이는 에이전트의 무단 편집과 대량 요청을 공개하면서(「위키미디어 "오픈AI 에이전트가 위키 무단 편집"」), 웹사이트가 AI에게 "어디까지 와도 되는지"를 알리는 가장 오래된 장치인 robots.txt가 다시 주목받고 있다. 무엇을 할 수 있고 무엇은 할 수 없는지 정리한다.

1. robots.txt는 무엇인가

웹사이트 주소 바로 아래(예: https://example.com/robots.txt)에 두는 평범한 텍스트 파일이다. 검색엔진 크롤러 같은 자동 수집 프로그램은 사이트를 긁기 전에 이 파일부터 읽고, 적힌 규칙에 따라 가져갈 경로를 정한다.

기본 문법은 세 줄이면 된다.

RFC 9309에는 실무 규칙도 있다. 크롤러는 적어도 500KiB까지 파일을 읽어야 하고, 하루(24시간)가 넘은 사본을 계속 쓰지 않아야 한다. 파일이 없으면(404 등 4xx) 전체 수집이 허용된 것으로 보고, 서버 오류(5xx)로 읽을 수 없으면 전체가 금지된 것으로 본다.

2. AI 크롤러는 이름이 여러 개다 — 학습·검색·사용자 요청

AI 회사들은 목적별로 크롤러 이름을 나눠 공개한다. 사이트는 이 이름을 골라 막거나 허용한다.

이 구분이 중요한 이유는 효과가 다르기 때문이다. 학습용 크롤러를 막으면 내 글이 모델 학습 데이터에 들어가지 않는다. 검색용 크롤러를 막으면 누군가 AI 검색에 내 분야를 물었을 때 답변의 출처 목록에서 빠진다. 그래서 학습용(GPTBot·ClaudeBot·Google-Extended)은 막고 검색용(OAI-SearchBot·Claude-SearchBot·PerplexityBot)은 허용하는 설정이 흔하다.

3. 왜 막지 못하나 — 팻말과 자물쇠

RFC 9309 스스로 이 파일이 접근 통제나 보안 수단이 아니라고 적고 있다. 비밀 경로를 robots.txt에 적으면 오히려 "여기 뭔가 있다"고 알리는 꼴이 된다.

AI 에이전트는 이 한계를 더 드러낸다. 크롤러는 사이트를 훑는 프로그램이지만, 에이전트는 사람 대신 브라우저를 열고 페이지를 하나씩 방문한다. 사용자가 시킨 접근에 robots.txt를 어디까지 적용할지는 회사마다 안내가 다르고 바뀌어 왔다. 위키미디어 사례의 에이전트들은 robots.txt가 아니라 승인 절차를 건너뛰고 편집하고, 인용 도구를 우회 통로로 쓰려 했다. 이런 행동은 안내문이 아닌 다른 장치로 막아야 한다.

4. 자주 묻는 질문

5. 남은 것과 확인되지 않은 것

• 크롤러 이름 변경: AI 회사들은 크롤러 이름과 용도를 바꿔 왔다. 위 목록은 2026년 기준이며, 적용 전 각 회사 공식 문서를 확인해야 한다.
• 에이전트 적용 범위: 사람 대신 움직이는 AI 에이전트에 robots.txt를 어디까지 적용할지는 업계 합의가 없다. 위키미디어는 대신 "AI 트래픽에 식별자를 붙이라"고 요구했다.
• CDN 기본값 변화: 클라우드플레어가 2026년 9월 새 도메인의 AI 크롤러 기본 설정을 바꿨다는 보도는 2차 자료 한 곳으로만 확인했다.
• 에이전트에게 비밀번호 없이 권한을 주는 표준은 「OAuth란」, 에이전트를 가두는 실행 환경은 「샌드박스란」에 정리했다.