#robots.txt
robots.txt 관련 기사 1건을 모았습니다. 기사 12건이 모이면 이 주제의 검색에서 사이트 전체가 올라갑니다.
시간순 흐름
전체 기사
-
테크 · 4분robots.txt란 — AI 크롤러를 막는 한 줄, 그리고 강제력이 없는 이유
정의 — 사이트 루트의 텍스트 파일. 크롤러에 허용·금지 경로를 알린다. 2022년 RFC 9309로 표준화
robots.txt 관련 기사 1건을 모았습니다. 기사 12건이 모이면 이 주제의 검색에서 사이트 전체가 올라갑니다.
정의 — 사이트 루트의 텍스트 파일. 크롤러에 허용·금지 경로를 알린다. 2022년 RFC 9309로 표준화