- 오픈AI·구글·마이크로소프트·앤트로픽 4곳이 robots.txt에 넣는 공통 ‘AI 학습 거부’ 신호를 따르기로 했어요.
- 앤트로픽의 표준 담당자가 IETF에 제안한 방식이에요. 앤트로픽은 이미 적용했고, 오픈AI는 수개월 내, 구글·MS는 내년 지원이 목표예요.
- 회사마다 따로 설정하던 번거로움은 줄어들 전망이에요. 메타는 지지만 밝혔고 실제로 따를지는 말하지 않았어요.
robots.txt에 공통 신호 하나만 넣어 두면 오픈AI, 구글, 마이크로소프트(MS), 앤트로픽의 AI 크롤러가 사이트 접근을 제한하게 돼요. 네 회사가 ‘AI 학습 거부’ 공통 표준을 따르겠다고 나란히 이름을 올렸거든요. 지금까지는 사이트를 AI 학습에서 빼려면 회사마다 따로 신호를 보내야 했으니, 운영자 입장에선 일이 꽤 줄어드는 변화예요. 다만 지금 이 신호가 실제로 통하는 곳은 앤트로픽 한 곳. 서치 엔진 라운드테이블이 처음 보도했고, 더버지가 회사별 입장과 일정을 덧붙여 전했어요.
새 파일 없이 robots.txt에 얹는 ‘정책 토큰’
이름은 ‘정책 토큰(policy token)’이에요. 앤트로픽에서 표준 분야 기술 리드를 맡고 있는 케빈 켈리(Kevin Kelley)가 국제인터넷표준화기구(IETF) 논의의 일부로 내놓았어요.
토큰이 들어갈 자리는 robots.txt예요. 검색 색인이든 아카이빙이든 AI 학습이든, 목적을 가리지 않고 어떤 크롤러가 사이트를 긁어가도 되는지 알려주는 데 오래 써 온 파일이죠. 새 시스템을 따로 만드는 게 아니에요. 운영자들이 이미 관리하고 있는 파일에 공통 어휘 하나를 더하는 방식이라, 도입이 어려울 이유는 별로 없어 보여요.
문제는 지금까지의 방식이었어요. AI 학습에 대한 선호를 회사별로 하나하나 적어야 했는데, AI 크롤러는 계속 늘어나고 있어요. 회사가 하나 늘 때마다 운영자가 챙겨야 할 항목도 하나씩 쌓이는 구조였던 셈이죠.
- 공통 신호 하나로 여러 AI 회사에 학습 선호를 한 번에 전달
- 신호가 들어가는 곳은 기존 robots.txt 파일
- 참여 4개사는 이 토큰을 발견하면 자사 AI 크롤러의 사이트 접근을 제한하겠다고 밝힘
앤트로픽은 이미 적용, 구글·MS는 내년부터
‘토큰이 있으면 멈추겠다’는 데는 네 회사가 뜻을 모았어요. 일정은 제각각이고요. 회사별로 밝힌 내용을 표로 묶으면 이래요.
| 회사 | 지원 시점 | 함께 밝힌 내용 |
|---|---|---|
| 앤트로픽 | 이미 적용 | 표준을 제안한 케빈 켈리가 속한 회사 |
| 오픈AI | “수개월 내” | 구체적인 날짜는 밝히지 않음 |
| 구글 | 내년 | 검색 노출과 상관없이 AI 검색 기능 노출과 AI 학습 이용을 따로 제어하는 기능을 이미 운영 |
| 마이크로소프트 | 내년 | AI 학습과 AI 그라운딩을 각각 거부할 수 있는 세분화 제어 제공, 설정과 무관하게 빙 검색 결과 노출 유지 |
| 메타 | 미정 | 지지를 표명했지만 준수 여부는 언급하지 않음 |
MS 설명에 나오는 ‘그라운딩’은 AI 모델이 답을 만들 때 검증된 정보원을 참고하게 해서 환각을 줄이는 과정이에요. 내 사이트 글이 학습 데이터로 쓰이는 것과 답변의 근거 자료로 쓰이는 것을 따로 고를 수 있다는 얘기죠. ‘전부 열거나 전부 막거나’ 둘 중 하나만 고르는 것보다 운영자에게 훨씬 현실적인 선택지예요. 학습에 쓰이는 건 싫지만 AI 답변의 근거로 쓰이는 건 괜찮다는 사이트도 분명 있을 테니까요.
메타는 입장이 애매해요. 메타 커뮤니케이션 책임자 앤디 스톤은 “여러 제공업체에 이런 선호를 한 번에 전달하는 공통 신호를 만드는 건 중요한 진전”이라고 말했어요. 표준을 만들고 업계 전반에 적용하는 일도 다른 AI 회사들과 함께하고 싶다고 덧붙였고요. 그런데 정작 메타 크롤러가 이 신호를 실제로 따를지는 말하지 않았어요. 지지한다는 것과 지킨다는 건 다른 문제라서, 표에서 메타 칸이 ‘미정’으로 남을 수밖에 없어요.
국내 사이트 운영자, 기존 설정은 아직 지우지 말 것
자체 도메인으로 사이트를 운영하는 국내 언론사, 개인 블로거, 기업 웹 담당자라면 실제 작업 방식이 바뀌는 얘기예요. 네 회사가 모두 지원을 시작하면 AI 학습을 막을 때 회사별 항목을 일일이 적지 않고 공통 토큰 하나로 처리할 수 있거든요.
문제는 타이밍이에요. 지금 이 신호를 반영한 곳은 앤트로픽뿐이에요. 오픈AI는 수개월 뒤, 구글과 MS는 내년이 목표예요. 그 사이에 회사별 설정부터 지워버리면 아직 토큰을 지원하지 않는 크롤러에는 거부 의사가 제대로 전달되지 않을 수 있어요. 한동안은 회사별 설정과 공통 토큰을 나란히 두는 편이 안전해요.
검색 유입이 줄까 봐 AI 차단을 미뤄 왔다면 그 걱정은 조금 내려놔도 될 듯해요. MS는 설정과 상관없이 빙 검색 결과 노출을 유지한다고 했고, 구글도 검색 노출과 AI 학습 이용을 나눠서 제어하는 기능을 이미 운영하고 있거든요.
- 앤트로픽 크롤러: 지금부터 공통 토큰 적용 대상
- 오픈AI·구글·MS: 지원이 시작될 때까지는 기존 회사별 설정을 유지하는 게 무난 (공개된 일정을 기준으로 한 판단)
- 국내 포털·AI 기업 크롤러: 이번 참여 명단에 없음. 같은 토큰을 따를지는 각 회사가 정할 문제로 보임 (추측)
확인된 것과 아직 불확실한 것
확인된 것
- 오픈AI·구글·MS·앤트로픽 4곳의 공통 정책 토큰 채택 의사
- 앤트로픽 표준 기술 리드 케빈 켈리가 IETF 논의의 하나로 제안
- 토큰이 들어가는 위치는 robots.txt
- 적용 일정: 앤트로픽 이미 적용, 오픈AI 수개월 내, 구글·MS 내년
- MS의 AI 학습·그라운딩 구분 제어와 빙 검색 노출 유지 방침
- 메타의 지지 표명(준수 여부는 언급 없음)
아직 불확실한 것
- 토큰의 구체적인 문법과 robots.txt 작성 예시
- IETF 표준으로 최종 확정되는 시점
- 오픈AI의 정확한 적용일과 구글·MS의 세부 일정
- 메타 크롤러의 실제 준수 여부
- 오픈AI·앤트로픽도 학습과 그라운딩을 나눈 세분화 옵션을 제공할지 여부
- 이미 수집된 데이터에도 신호가 적용되는지와 그 범위
- 국내 포털·AI 기업 크롤러의 동참 여부
요금도 차단도 아닌, ‘약속’에 기대는 세 번째 방식
AI 크롤러의 무단 수집에 맞서는 방법이 이번에 처음 나온 건 아니에요. RSL(Really Simple Licensing) 표준은 사이트를 찾아오는 크롤러에 요금을 물릴 수 있게 했고, 클라우드플레어는 AI 크롤러를 기본으로 차단하고 있어요.
공통 토큰은 방식이 달라요. 요금을 받지도 않고, 네트워크 단에서 막지도 않아요. AI 회사들이 ‘이 신호가 있으면 멈추겠다’고 약속한 신호, 그게 전부예요. robots.txt 자체가 크롤러가 스스로 지켜야 의미가 생기는 장치라는 걸 생각하면, 이 표준의 무게는 몇 곳이 약속하고 그 약속을 얼마나 지키느냐로 정해질 수밖에 없어요. 그런 면에서 오픈AI·구글·MS·앤트로픽이 한꺼번에 이름을 올린 건 출발로는 나쁘지 않은 구성이에요.
남은 관전 포인트는 두 가지. 첫째는 메타처럼 지지만 밝힌 회사가 실제로 신호를 따르게 되느냐예요. 둘째는 IETF 논의가 마무리되면서 더 많은 크롤러 운영사가 같은 신호를 받아들이느냐고요.
출처: The Verge











