robots.txt AI 학습 거부, 4개사 공통 토큰

오픈AI, 구글, 마이크로소프트, 앤트로픽. AI 회사 네 곳이 robots.txt에 넣는 신호 하나를 함께 따르겠다고 밝혔다. 더버지 보도에 따르면 이들이 채택하기로 한 것은 이른바 ‘정책 토큰(policy token)’이다. robots.txt에 이 토큰을 넣어 두면 여러 AI 회사에 “내 콘텐츠를 학습에 쓰지 말라”는 뜻이 한 번에 전달된다. 블로그나 사이트를 직접 운영하며 AI 학습을 막아 본 사람에게는 반가운 변화다. 지금까지는 robots.txt에 AI 회사 크롤러 이름을 줄줄이 적어 넣고, 새 크롤러가 나올 때마다 목록을 다시 고쳐야 했다. 기존 설정을 당장 지울 단계는 아니다. 회사마다 적용 시점이 달라서다. 운영자가 지금 할 일은 지우기보다 더하기에 가깝다.

robots.txt는 자물쇠가 아니라 크롤러에게 건네는 안내문

robots.txt는 사이트 주소 맨 뒤에 /robots.txt를 붙이면 열리는 평범한 텍스트 파일이다. 검색엔진이나 AI 회사가 보내는 크롤러(웹 페이지를 자동으로 돌아다니며 수집하는 프로그램)는 사이트를 수집하기 전에 이 파일부터 읽고, 어떤 경로를 가져가도 되는지 확인한다. 출발점은 검색 색인과 웹 아카이빙을 위한 안내였다. 지금은 AI 학습용 수집을 허용할지 말지 알리는 창구 역할까지 떠안았다.

문법은 단순하다. User-agent 줄에 대상 크롤러 이름을 쓰고, 그 아래 Disallow 줄에는 수집을 막을 경로를, Allow 줄에는 허용할 경로를 적는다. 크롤러는 자기 이름과 일치하는 그룹이 있으면 그 규칙을 따르고, 없으면 모든 크롤러를 뜻하는 별표(*) 그룹의 규칙을 따른다.

놓치면 안 되는 성질이 하나 있다. robots.txt는 강제력 있는 차단 장치가 아니다. “이렇게 해 달라”는 요청일 뿐이고, 지키기로 한 크롤러만 지킨다. AI 회사들이 “이 신호를 보면 수집을 멈추겠다”고 약속했다는 사실 자체가 무게를 갖는 이유가 여기 있다. 효력이 미치는 방향도 한쪽뿐이다. robots.txt는 앞으로의 방문을 안내하는 파일이어서, 이미 수집된 데이터를 되돌리지는 못한다.

AI 학습을 막는 기존 방식은 철저히 회사 단위였다. 각 회사가 공개한 크롤러 이름을 하나하나 User-agent로 지정해야 했고, AI 회사가 늘수록 운영자가 챙길 목록도 길어졌다. 하나만 빠뜨려도 그 회사 크롤러에는 거부 의사가 닿지 않는 구조. 공통 토큰이 손대려는 곳이 바로 이 대목이다.

정책 토큰은 크롤러 목록 대신 ‘학습 허용 여부’를 적는다

정책 토큰은 앤트로픽의 표준 담당 기술 리드인 케빈 켈리가 인터넷 표준을 다루는 IETF(국제인터넷표준화기구)에 제안한 방식이다. 발상은 간단하다. “어느 크롤러를 막을지”를 나열하는 대신 “내 콘텐츠를 AI 학습에 써도 되는지”를 robots.txt 안에 공통 신호로 적는다. 신호를 읽은 AI 회사가 각자 크롤러 접근을 제한하니, 운영자가 회사별로 줄을 계속 덧붙일 필요가 없어진다.

오픈AI, 구글, 마이크로소프트, 앤트로픽은 이 토큰을 발견하면 자사 AI 크롤러의 사이트 접근을 제한하겠다고 밝혔다. 메타도 목소리를 보탰다. 커뮤니케이션 책임자 앤디 스톤은 여러 제공자에게 이런 선호를 한꺼번에 전하는 공통 신호를 만드는 일이 중요한 한 걸음이라며 지지 의사를 냈다. 정작 메타가 이 신호를 실제로 따를지에 대해서는 말이 없었다. 지지와 준수는 별개의 문제다. 회사별 입장과 일정을 표로 묶으면 다음과 같다.

회사	공통 토큰 적용 시점	함께 밝힌 내용
앤트로픽	이미 적용	토큰을 제안한 케빈 켈리가 소속된 회사
구글	발표 이듬해 지원 계획	이전부터 AI 검색 기능 노출·AI 학습 사용을 검색 노출과 분리해 제어하는 기능 운영
마이크로소프트	발표 이듬해 지원 계획	AI 학습과 AI 그라운딩을 따로 거부하는 세분화 제어 제공, 빙 검색 노출은 유지
오픈AI	수개월 안에 적용	토큰 발견 시 자사 크롤러 접근 제한
메타	준수 여부 언급 안 함	업계 공통 신호 마련에 지지 의사 표명

지원 시점은 제각각이다. 앤트로픽은 이미 적용했고, 오픈AI는 수개월 안, 구글과 마이크로소프트는 발표 이듬해를 내걸었다. 공통 토큰만 넣어 두면 아직 지원을 시작하지 않은 회사의 크롤러에는 신호가 통하지 않을 수 있다. 네 회사가 모두 적용을 마치기 전까지는 기존 회사별 차단 줄과 공통 토큰을 함께 두는 편이 안전하다. 가장 늦은 일정이 ‘발표 이듬해’인 만큼, 회사별 줄을 관리하는 수고는 적어도 그때까지 이어진다고 보는 게 현실적이다.

AI 학습·그라운딩·검색 노출은 서로 다른 스위치

robots.txt로 AI를 막을 때 가장 흔한 착각은 “AI를 막는다”와 “검색에서 사라진다”를 같은 일로 여기는 것이다. 실제로는 성격이 다른 세 가지 쓰임이 한데 얽혀 있다.

• 검색 노출: 검색엔진 결과에 내 페이지가 뜨는 것. 검색 유입에 기대는 블로그라면 무엇보다 먼저 지켜야 할 부분이다.
• AI 학습: 내 글이 AI 모델을 훈련시키는 데이터로 들어가는 것.
• AI 그라운딩: AI가 답변을 만들 때 환각(그럴듯한 오답)을 줄이려고 검증된 출처를 참고하게 하는 과정. 마이크로소프트가 쓰는 표현이다.

마이크로소프트는 AI 학습과 AI 그라운딩을 각각 거부할 수 있는 세분화된 제어를 제공하겠다고 했다. 어느 쪽을 고르든 빙 검색 결과 노출은 그대로 유지된다는 설명이다. 구글은 한발 먼저 움직였다. AI 검색 기능에 노출될지, AI 학습에 쓰일지를 검색 노출과 분리해 정하는 제어를 이미 운영해 왔다. 두 회사 기준으로는 AI 쪽 문을 닫아도 검색 유입은 지킬 수 있다는 얘기다.

어떤 스위치를 끌지는 사이트 성격에 따라 갈린다.

• 검색 유입이 수익의 중심인 블로그: 검색용 크롤러는 건드리지 않고 AI 학습 거부만 설정하는 정도면 무난하다.
• AI 답변에 출처로 언급되길 원하는 사이트: 학습은 막고 그라운딩은 열어 두는 조합을 고려할 만하다. 그라운딩은 AI가 검증된 출처를 참고하는 과정이라, 이걸 거부하면 AI 답변에 출처로 등장할 기회도 함께 줄어들 공산이 크다.
• 콘텐츠 자체가 상품인 사이트(유료 원고, 사진, 강의 자료): 학습과 그라운딩을 모두 막고, 필요하면 마지막 소제목에서 다룰 과금형 라이선스까지 검토하는 쪽이 맞다.

용도별로 잘게 나눠 막고 싶다면 공통 토큰과 별도로 각 회사가 내놓은 세분화 제어 안내를 따로 챙겨 둬야 한다. 마이크로소프트가 학습과 그라운딩을 굳이 나눠 놓은 것만 봐도, ‘AI 거부’는 한 덩어리로 처리할 문제가 아니다.

내 사이트 robots.txt, 다섯 단계로 손보기

순서는 ‘현재 파일 확인 → 편집 위치 찾기 → 회사별 차단 → 공통 토큰 추가 → 검증’이다. 아래 메뉴 경로는 서비스 업데이트에 따라 표기가 바뀔 수 있으니, 같은 뜻의 항목을 찾아 들어가면 된다.

1단계. 현재 파일 열어보기
브라우저 주소창에 ‘내도메인/robots.txt’를 입력한다. 텍스트가 뜨면 이미 파일이 있다는 뜻이다. 페이지를 찾을 수 없다는 오류가 나오면 파일이 없는 것이고, 이때는 모든 크롤러가 허용된 상태다.

2단계. 편집 위치 찾기

• 자체 서버·웹호스팅: 호스팅 관리 페이지 → 파일 관리자(또는 FTP 접속) → 웹 루트 폴더(public_html, www 같은 이름)에서 robots.txt를 만들거나 고친다. 하위 폴더에 두면 크롤러가 읽지 않는다. 반드시 최상위에 둬야 한다.
• 워드프레스: 실제 파일이 없으면 워드프레스가 가상 robots.txt를 자동으로 보여준다. 고칠 때는 SEO 플러그인의 편집 메뉴를 쓰는 게 간단하다. 플러그인 메뉴 → 도구 → 파일 편집기(플러그인에 따라 ‘일반 설정 → robots.txt 편집’) 순서. 루트에 실제 파일을 올리면 그 파일이 우선 적용된다.
• 구글 블로거: 설정 → 크롤러 및 색인 생성 → ‘맞춤 robots.txt 사용 설정’ 켜기 → ‘맞춤 robots.txt’에 내용 입력(한국어 메뉴 표기는 확실하지 않음, 영문 화면은 Crawlers and indexing → Enable custom robots.txt).
• 가입형 블로그 플랫폼: 플랫폼이 robots.txt를 직접 관리해 편집 메뉴 자체가 없는 경우가 많다. 이 경우는 바로 다음 소제목에서 따로 다룬다.

3단계. AI 크롤러 그룹을 검색엔진 그룹과 분리해 추가
AI 회사들은 자사 크롤러 이름을 개발자 문서나 고객 지원 페이지에 공개해 두고 있다. 그 이름을 철자 그대로 복사해 아래처럼 별도 그룹으로 넣는다.

# 검색엔진 크롤러는 기존처럼 허용
User-agent: *
Allow: /

# AI 학습용 크롤러는 회사별로 따로 차단
User-agent: [A사가 공개한 AI 학습용 크롤러 이름]
Disallow: /

User-agent: [B사가 공개한 AI 학습용 크롤러 이름]
Disallow: /

별표 그룹에 ‘Disallow: /’를 쓰는 것만은 절대 피해야 한다. AI 크롤러뿐 아니라 검색엔진 크롤러까지 몽땅 막혀 검색 유입이 끊긴다. 구글이나 마이크로소프트처럼 검색과 AI를 함께 하는 회사도 마찬가지다. 검색용 크롤러 자체를 막으면 그건 학습 거부가 아니라 검색 노출 포기다. 각 회사가 AI 학습 제어용으로 안내한 항목만 골라 써야 하는 이유다.

4단계. 공통 정책 토큰 줄 추가
각 회사가 지원을 시작하면 robots.txt에 공통 토큰 줄을 넣는다. 걸리는 건 표기법이다. 토큰의 정확한 표기 문법은 이 단계에서 확실하지 않으므로, IETF 제안 문서와 각 회사 크롤러 안내 페이지에 적힌 형태를 그대로 복사하는 게 안전하다. 철자가 어긋나면 크롤러가 신호로 읽지 못할 수 있다. 3단계에서 넣은 회사별 줄은 네 회사가 모두 적용을 마칠 때까지 지우지 않는다.

5단계. 저장 후 검증
저장한 뒤 ‘내도메인/robots.txt’를 새로고침해 바뀐 내용이 보이는지 확인한다. 구글 쪽 반영 상태는 구글 서치 콘솔 → 설정 → 크롤링 → robots.txt ‘보고서 열기’에서 가져오기 상태와 오류를 볼 수 있다(이 경로는 확실하지 않음). 반영에는 시차가 있다. 크롤러는 robots.txt를 주기적으로 다시 읽기 때문에, 고치자마자 모든 크롤러에 적용되지는 않는다.

국내 운영자, robots.txt 편집 권한이 있느냐가 갈림길

robots.txt를 직접 고칠 수 있는 운영자에게는 변화가 비교적 선명하다. 워드프레스나 자체 서버, 구글 블로거로 사이트를 꾸렸다면, 네 회사가 모두 공통 토큰을 지원하는 시점부터 회사별 크롤러 목록을 계속 업데이트하는 부담이 줄어들 전망이다. 광고 수익을 검색 유입에 기대는 블로그도 한시름 놓을 만하다. 구글·마이크로소프트가 검색 노출과 AI 학습을 분리해 둔 덕분에, 학습을 거부했다고 구글·빙 검색 노출이 떨어질 걱정은 덜 수 있다.

포털 블로그처럼 플랫폼이 도메인과 robots.txt를 함께 관리하는 가입형 서비스는 사정이 다르다. 개인이 robots.txt를 직접 고치기 어려운 구조여서, 공통 토큰을 넣을지, 넣는다면 블로그별로 선택하게 할지는 플랫폼 운영사의 결정에 달린 문제로 보인다(추측). 이런 플랫폼 사용자라면 운영사 공지나 고객센터 안내에서 AI 학습 관련 정책을 찾아보는 게 현실적인 방법이다. 개인이 손쓸 수 있는 범위가 사실상 거기까지라는 뜻이기도 하다.

참여 명단도 따져 볼 대목이다. 공통 토큰을 따르겠다고 밝힌 곳은 오픈AI, 구글, 마이크로소프트, 앤트로픽 네 곳. 메타는 지지 의사만 냈고, 국내 포털이나 국내 AI 회사의 이름은 명단에 없다. 공통 토큰이 자리를 잡더라도 국내 서비스의 크롤러는 지금처럼 회사별로 따로 지정해야 할 가능성이 커 보인다(추측). 같은 이유로, 이번 발표만 놓고 국내 검색 노출에 미칠 영향을 가늠하기는 어렵다.

쇼핑몰 운영자도 처지가 비슷하다. 임대형 쇼핑몰 솔루션을 쓴다면 관리자 화면에 robots.txt 편집 메뉴가 있는지부터 확인해야 하고, 없다면 솔루션 업체의 지원을 기다리는 수밖에 없다. 상품 상세 설명이나 구매 후기처럼 공들인 텍스트가 많은 몰일수록 이 확인을 먼저 해 두는 게 순서다.

확인된 것과 아직 불확실한 것

확인된 것

• 오픈AI·구글·마이크로소프트·앤트로픽이 공통 정책 토큰을 채택하고, 토큰을 발견하면 자사 AI 크롤러의 접근을 제한하겠다고 밝힘
• 토큰은 웹사이트의 robots.txt 파일 안에 들어가는 방식
• 앤트로픽 표준 담당 기술 리드 케빈 켈리가 IETF에 제안
• 앤트로픽은 이미 적용, 구글·마이크로소프트는 발표 이듬해 지원 예정, 오픈AI는 수개월 안에 적용 예정
• 마이크로소프트는 AI 학습과 AI 그라운딩을 따로 거부하는 제어를 제공하고, 선택과 무관하게 빙 검색 노출은 유지
• 구글은 이전부터 AI 검색 기능 노출과 AI 학습 사용을 검색 노출과 분리해 제어하는 기능을 운영
• 메타는 커뮤니케이션 책임자 앤디 스톤을 통해 지지 의사 표명

아직 불확실한 것

• 정책 토큰의 정확한 표기 문법과 robots.txt 안의 작성 위치
• 메타의 실제 준수 여부와 적용 시점
• 오픈AI의 구체적인 적용 시기
• 공통 토큰 하나로 학습·그라운딩 같은 세부 용도까지 구분할 수 있는지 여부
• 네 회사 밖 AI 크롤러, 특히 국내 서비스의 참여 여부
• IETF 정식 표준 확정 여부와 그 시점

약속을 안 지키는 크롤러엔 CDN 차단과 과금형 라이선스

공통 토큰은 신호를 지키겠다고 약속한 회사에만 통한다. robots.txt 자체가 강제력 없는 요청인 만큼, 규칙을 무시하고 긁어 가는 크롤러에는 다른 수단이 필요하다. 퍼블리셔들이 AI 크롤러의 무단 수집에 계속 시달리면서 대안도 이미 몇 가지 나와 있다.

• CDN 단계 차단: 클라우드플레어는 AI 크롤러를 기본으로 차단하고 있다. 클라우드플레어를 쓰는 사이트라면 대시보드 → 도메인 선택 → 보안 → 봇 메뉴에서 AI 크롤러 차단 상태를 확인할 수 있다(이 경로는 확실하지 않음, ‘AI Crawl Control’처럼 AI 크롤러 관리가 별도 메뉴로 나뉜 화면도 있음). 요청을 서버 앞단에서 거절하는 방식이라, 크롤러가 robots.txt를 지키든 말든 상관없이 작동한다는 점이 다르다.
• 과금형 라이선스: RSL(Really Simple Licensing) 표준은 사이트를 방문하는 크롤러에 요금을 매길 수 있게 해 준다. 무조건 막기보다 “쓰려면 대가를 내라”는 선택지를 원하는 운영자에게 맞는 방식이다.
• 서버 설정 차단: 웹 서버 설정에서 특정 User-agent의 요청을 거절하는 방법도 있다. 다만 크롤러가 이름을 바꾸거나 숨기면 빠져나갈 수 있어 보조 수단에 가깝다.

방어선은 세 겹으로 쌓을 수 있다. 먼저 robots.txt에 회사별 차단과 공통 토큰을 함께 적어 ‘약속을 지키는 크롤러’를 관리한다. 그래도 불안하면 CDN 차단으로 ‘약속을 안 지키는 크롤러’를 거른다. 콘텐츠로 수익을 내고 싶다면 라이선스로 ‘대가를 내는 크롤러’만 받는다. 공통 토큰이 자리 잡으면 첫 번째 층의 관리 부담은 가벼워질 것으로 보인다. 하지만 토큰을 따르겠다고 밝힌 곳이 아직 네 회사뿐이라, 나머지 두 층이 필요 없어지지는 않는다. 공통 토큰은 울타리를 대신하는 장치가 아니다. 울타리에 붙이던 여러 장의 표지판을 한 장으로 합친 것에 가깝다.

출처: The Verge