AI 크롤러 차단, robots.txt가 못 막는 것

숫자부터. 91,692건. 오픈AI의 중간 학습 데이터셋 한 곳에서 확인된 뉴욕타임스·데일리뉴스·탐사보도센터 발행 저작물의 사본 수다. Common Crawl에서 파생된 데이터셋에는 nytimes.com 한 도메인에서 나온 문서만 200만 건 넘게 들어 있었다. 뉴욕타임스가 오픈AI와 마이크로소프트를 상대로 낸 저작권 소송에서 가림막이 걷힌 문건에 적힌 값들이다.

승패를 점치는 건 이 글의 관심사가 아니다. 문건이 유용한 이유는 따로 있다. 웹에 글을 올리는 사람이면 누구나 걸리는 질문 세 개를 한자리에 모아 놓았다는 점. 내 콘텐츠는 어떤 경로로 학습 데이터가 되는가. 그걸 막는 스위치는 어디에 붙어 있는가. 그 스위치는 실제로 작동하는가.

쟁점은 복제가 아니라 대체다

AI 기업이 저작물을 학습에 써도 되는지, 확립된 답은 아직 없다. 미국에서 이들이 기대는 논리는 공정이용(fair use)이다. 패러디, 뉴스 보도, 비평처럼 일정한 경우에 허락 없이 저작물을 쓰는 것을 허용하는 법리다. 지금까지 법원은 “학습은 공정이용”이라는 AI 기업 주장에 대체로 우호적이었고, 미 행정부도 오픈AI의 비허가 저작물 학습을 옹호하는 의견서를 냈다. 방어하는 쪽 지형이 나쁘지 않았다는 뜻이다.

공정이용 판단에서 늘 걸리는 항목은 하나다. 그 이용이 원저작물의 시장을 대체하거나 훼손하지 않는가. 이번에 공개된 내부 발언이 겨냥하는 지점이 정확히 여기다. 오픈AI에서 챗GPT를 총괄하는 닉 털리는 내부 커뮤니케이션에서 챗봇 같은 제품이 발행사에 “실존적 위협”이며 “상당 부분 대체적”이고 “성능이 좋아질수록 더 대체적으로 변한다”고 썼다. 그레그 브록만 오픈AI 사장은 모델이 “뉴스에 탁월하다”고 표현했다. 사티아 나델라 마이크로소프트 CEO는 증언에서 챗봇과의 대화가 “원 출처 웹사이트로 이동하는 대신 AI 플랫폼에서 바로 정보를 주는 방식으로 대체해 왔다”는 데 동의했다.

변형적 이용이라는 방어선은 “원본과 다른 무언가를 만든다”는 전제 위에 서 있다. 회사 안에서 스스로를 대체재라고 부른 문장이 증거로 나오면 그 전제가 흔들린다. 상대편 변호인이 굳이 전문가 증인을 부를 필요가 없는 종류의 자료다. 개념 하나만 쥐고 가면 된다. 이 분쟁의 무게추는 긁어갔느냐가 아니라 원본 대신 소비되느냐에 걸려 있다.

문건이 보여준 수집 규모와 경로

문건에 흩어진 숫자를 한자리에 모으면 규모가 잡힌다. 아래 값은 모두 소송 서면에 인용된 내용이다.

경로도 뭉뚱그려 적혀 있지 않다. 빙 인덱스에서 콘텐츠를 긁어왔다는 대목, 오픈AI가 GPT-3 학습 데이터셋 전체를 마이크로소프트에 넘겼고 마이크로소프트는 자사 상용 제품에 모델을 어떻게 넣을지 평가하는 데 그 데이터를 썼다는 서술, Project Taxi·Project Mango라는 이름의 작업으로 마이크로소프트가 오픈AI에 학습 데이터를 제공했다는 내용까지 코드명과 함께 나온다. 뉴스 콘텐츠 비중이 큰 WebText, WebText2 같은 데이터셋을 별도로 만들었다는 주장도 붙어 있다.

수집 방식 쪽 서술은 날이 더 서 있다. 오픈AI 연구원 닉 라이더가 브록만에게 “뉴욕타임스 페이월을 우회하는 방법”을 알렸고 브록만이 “오 좋네”라고 답했다는 인용. 학습 데이터가 모델에 들어가기 전에 저작권 고지를 의도적으로 제거했다는 서술. 이유는 연구자들이 “모델이 저작권 고지를 출력하기를 원치 않았다”는 것으로 적혀 있다. 마이크로소프트 응용과학 디렉터 브렌트 헥트는 내부 메모에서 이를 “전례 없는 규모의 놀라운 절도”, “인류 역사상 가장 큰 노동 절도”라고 불렀다.

같은 문서에 공급망 경고도 함께 실렸다. 헥트는 클릭률 하락을 “둠 루프”로 부르며 “우리 모델의 성능과 웹 전체를 동시에 해칠 것”이라고 썼다. “최종 제품이 핵심 공급자의 경제적 기반을 위협하는 일은 매우 이례적인데, 우리가 LLM 사업의 콘텐츠 공급망에 만들어 낸 상황이 그렇다”는 문장도 나온다. 생성형 AI가 “학습 데이터를 만들어 낸 바로 그 사람들의 고용을 크게 무너뜨릴 실질적 위험”을 안고 있다는 표현까지. 외부 비판자가 아니라 이 사업을 만든 쪽 사람이 남긴 기록이라는 점이 이 대목의 무게다.

학습에서 내 사이트를 빼는 네 단계

1단계는 권한 확인이다. 브라우저 주소창에 “내도메인/robots.txt”를 넣어 파일이 뜨는지부터 본다. 자체 호스팅이면 웹 루트에 텍스트 파일로 올리면 끝난다. 워드프레스는 사정이 다르다. 플러그인이나 SEO 테마 설정이 파일 내용을 덮어쓰는 구조가 흔해서, 서버에 올려둔 파일이 아니라 관리자 화면에서 고쳐야 반영된다.

2단계는 검색 크롤러와 학습 크롤러를 갈라내는 일이다. 이 구분을 놓치면 AI 학습을 막으려다 검색 유입까지 함께 끊긴다. 구글은 검색 색인용 크롤러와 생성형 AI 학습 옵트아웃 토큰을 따로 두고 있고, 오픈AI도 학습용 크롤러 이름을 공개 문서로 안내한다. 봇 이름과 정책은 사업자가 수시로 바꾼다. 차단 목록을 확정하기 전에 각 사업자의 공식 크롤러 문서에서 현재 이름을 대조하는 절차가 빠지면 안 된다.

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

3단계는 규약을 무시하고 들어오는 트래픽을 서버나 CDN에서 끊는 것. 클라우드플레어를 쓴다면 대시보드에서 도메인을 고른 뒤 Security → Bots 영역에 AI 크롤러 차단 스위치가 있는지 본다. 요금제와 대시보드 개편에 따라 메뉴 위치와 이름이 달라지므로, 한눈에 보이지 않으면 보안 하위 메뉴를 전부 훑는 편이 빠르다. 웹서버를 직접 운영한다면 User-Agent 문자열을 보고 403을 돌려주는 규칙을 Nginx나 Apache 설정에 넣는 방법도 있다.

4단계는 검증이다. 서버 접근 로그에서 User-Agent 문자열을 검색해, 차단 대상 봇이 여전히 200 응답을 받아 가고 있는지 확인한다. 파일만 올려두고 손을 떼면 지켜지는지 아닌지 알 방법이 없다. 앞의 세 단계는 한 번 해두면 당분간 유지되지만, 봇 이름이 바뀔 때마다 다시 밟아야 하는 건 이 4단계다.

robots.txt가 막지 못하는 세 가지

첫째, 강제력. robots.txt는 법이 아니라 자율 규약이다. 크롤러가 읽고 따를지는 운영 주체의 선택이고, 파일 자체가 접근을 집행하지는 않는다. 3단계의 서버·CDN 차단을 굳이 따로 떼어 적은 이유가 여기 있다. 실질적인 방어선은 그쪽이다.

둘째, 과거 데이터. 차단 규칙을 오늘 넣어도 어제까지 수집된 스냅샷은 회수되지 않는다. Common Crawl은 누구나 내려받을 수 있는 무료 공개 웹 크롤 저장소이고, 문건에 따르면 여기서 파생된 데이터셋에 nytimes.com 문서만 200만 건 넘게 들어 있었다. 공개 아카이브에 한번 들어간 페이지는 설정 변경으로 되돌릴 수 없다. robots.txt는 앞으로를 위한 장치지 과거를 지우는 버튼이 아니다.

셋째, 우회. 문건의 서술대로라면 페이월 뒤 콘텐츠를 탐지되지 않게 가져오는 방법을 논의한 정황까지 있다. 로그인과 결제벽도 완전한 방벽은 아니라는 뜻이다. 그래서 남는 수단이 계약이다. 나델라는 증언에서 “페이월 뒤에 있는 것은 그라운딩이든 학습이든 쓰려는 쪽이 라이선스해야 한다”고 말했고, 오픈AI가 페이월 뒤 콘텐츠를 긁어 학습한 사실을 알았다면 모델을 다시 학습시키도록 요구할 권리를 발동했을 것이라고 했다. 기술적 차단이 닿지 않는 구간을 계약서가 메우는 구조다.

국내 독자가 챙길 것

호스팅형 블로그 이용자가 먼저 부딪히는 벽은 robots.txt 접근 권한이다. 플랫폼이 제공하는 블로그 서비스는 루트에 파일을 직접 올릴 수 없는 경우가 많다. 관리 화면에서 검색 엔진 수집 허용 여부를 켜고 끄는 스위치가 있는지 찾고, AI 학습 관련 별도 옵션이 있는지는 플랫폼 공지와 약관에서 확인해야 한다. 메뉴 이름과 위치는 플랫폼 개편 때마다 달라지므로 화면 그대로의 경로를 외우는 건 의미가 없다.

클릭률 수치는 그대로 옮겨 쓰면 곤란하다. 93%는 마이크로소프트 자체 데이터에서 코파일럿 답변 엔진과 기존 빙 검색을 비교했을 때 뉴욕타임스 도메인에 나타난 하락 폭이다. 한국 검색 환경이나 다른 도메인에 같은 비율이 적용된다는 근거는 문건 어디에도 없다. 자기 사이트의 변화는 서치 콘솔과 접근 로그로 직접 재는 수밖에 없다.

국내 법·제도는 단정하기 어려운 영역이다. 저작권법에 텍스트·데이터 마이닝 관련 면책 조항을 두자는 논의가 이어져 왔다는 점은 알려져 있으나, 입법 확정 여부와 세부 요건은 국회 의안정보시스템이나 소관 부처 자료로 직접 확인하는 편이 안전하다. 국내 언론·콘텐츠 사업자와 AI 기업 사이의 라이선스 협상 상황 역시 이번 문건에 담겨 있지 않다.

협상 재료로서의 가치는 분명하다. “페이월 뒤 콘텐츠는 라이선스 대상”이라는 취지의 CEO 증언, “대체적”이라는 내부 표현. 콘텐츠 보유자가 계약 테이블에서 그대로 인용할 문장들이다. (추측) 유료 구독 기반 매체를 중심으로 학습 데이터 이용 조건을 계약서에 명시하라는 요구가 강해지는 흐름으로 이어질 여지가 있다.

확인된 것과 아직 불확실한 것

확인된 것

• 봉인 해제된 문건에서 마이크로소프트 응용과학 디렉터 브렌트 헥트가 학습 데이터 수집을 “인류 역사상 가장 큰 노동 절도”로 표현했다.
• 오픈AI 중간 학습 데이터셋에 세 언론사 저작물 사본 91,692건, Project Mango 데이터셋에 최소 160,903건의 고유 저작물이 포함됐다는 서술이 있다.
• 마이크로소프트 자체 데이터에서 코파일럿 답변 엔진이 뉴욕타임스 도메인 클릭률을 기존 빙 검색 대비 최대 93% 낮췄다는 내용이 제시됐다.
• 페이월 우회 방법 공유, 저작권 고지 제거, 빙 인덱스 기반 수집에 관한 서술이 서면에 포함됐다.

아직 불확실한 것

• 공개된 내용 상당 부분은 뉴욕타임스 측 서면에서 나왔고, 근거가 된 증거물 자체는 봉인 상태다. 인용문은 원래 맥락 없이 제시됐다.
• AI 학습이 공정이용인지에 대한 최종 판단은 나오지 않았다. 법원은 그동안 AI 기업 논리에 대체로 우호적이었다.
• 오픈AI와 마이크로소프트는 논평 요청에 답하지 않았다. 반박 논리의 구성은 알 수 없다.
• 한국어 사이트가 각 데이터셋에 어떤 규모로 포함됐는지, 국내 법·계약 관행이 어떻게 정리될지는 이 문건으로 알 수 없다.

값이 정해질 지점은 세 곳이다

첫째는 시장 대체 판단이다. 내부 문서의 “대체적”이라는 표현과 클릭률 데이터가 법정에서 어느 정도 무게를 갖는지가 이후 분쟁의 기준선을 만든다. 둘째는 봉인이 풀릴 증거물. 서면 인용과 원문 맥락이 얼마나 맞아떨어지는지에 따라 같은 문장도 다르게 읽힌다. 셋째는 라이선스 시장이다. 콘텐츠 이용에 값이 붙기 시작하면 사이트 운영자의 선택지는 차단이냐 허용이냐에서 “얼마에 파느냐”로 옮겨간다.

그 사이 개인이 할 일은 소박하다. robots.txt를 실제로 갖고 있는지 확인하고, 학습용 크롤러와 검색용 크롤러를 구분해 적고, 로그로 지켜지는지 본다. 판결이 어느 쪽으로 기울든 이 세 가지는 그대로 유효하다. 판결을 기다렸다 손대기에는, 그사이에도 크롤러가 계속 돈다.

출처: TechCrunch

테크가이드팀

Daily News Korea 테크가이드팀은 IT 기기 비교, 소프트웨어 추천, 트러블슈팅 가이드 등 실용적인 기술 콘텐츠를 제작합니다. 초보자도 쉽게 따라할 수 있는 단계별 가이드를 지향합니다.