앤트로픽, AI 연구 자동화로 속도 2배…증거는 편집

1년 동안 과거 속도 기준으로 2년치를 전진했다. AI 안전성 연구기관 METR이 11주에 걸쳐 앤트로픽 내부를 들여다본 뒤 내놓은 결론이다. 모델 개선 속도가 1년 전의 약 2배라고 더버지가 전했다.

속도보다 더 눈여겨볼 대목은 가속이 어디서 왔느냐다. METR은 그 대부분이 컴퓨팅을 더 쏟아부은 결과가 아니라, AI가 AI 연구에 기여한 결과라고 판단했다. ‘AI가 AI를 만든다’는 가설은 오래전부터 있었다. 실제 연구 조직 안에서 그 효과가 측정된 사례는 드물다.

결과가 나온 곳도 공교롭다. 앤트로픽은 상장을 준비하고 있고, CEO 다리오 아모데이는 AI 개발 속도를 늦춰야 한다고 공개적으로 촉구해 온 인물이다. 속도 조절을 말해 온 회사 안에서 가속의 증거가 나왔으니 파장이 클 수밖에 없다.

AI 연구 자동화, 아직은 사람을 돕는 ‘보조형’ 단계

AI 연구 자동화는 AI 모델이 다음 세대 AI 모델을 만드는 연구 과정에 직접 참여하는 것을 가리킨다. 어디까지 참여하느냐에 따라 두 단계로 나눠 보면 구조가 선명해진다.

• 보조형: 연구 방향은 사람 연구자가 정한다. AI는 코드 작성이나 실험 분석 같은 작업을 거든다. 연구의 주체는 여전히 사람이다.
• 자율형: 가설 설정에서 실험, 개선까지를 AI가 사람 개입 없이, 혹은 최소한의 개입만으로 해낸다. 이 과정이 되풀이되면 이른바 ‘재귀적 자기 개선’에 가까워진다.

METR이 관찰한 앤트로픽은 보조형 단계에 있다. 가속의 상당 부분이 AI가 사람 연구자를 거드는 과정에서 나왔다. 그런데 METR은 “완전 자율적인 기여가 머지않아 더 큰 역할을 할 징후가 있다”고 경고했다. 지금의 ‘보조형’ 꼬리표가 오래 붙어 있으리라고 장담하기 어렵다는 얘기다.

보조형의 효과는 직원들의 답변에서 드러난다. 앤트로픽의 가장 강력한 내부 모델을 쓰는 직원들은 AI 없이 일할 때보다 평균 약 12배 생산적이라고 스스로 답했다. 직전 모델 Mythos 5를 쓰던 시기에 나온 응답의 약 2배. 모델 한 세대 사이에 체감 생산성이 두 배로 뛴 셈이다.

굳이 두 단계를 나누는 건 통제 가능성 때문이다. 보조형에서는 사람이 병목이면서 안전장치다. 사람이 결과를 확인하는 만큼만 연구가 나아가는 구조다. 자율형으로 넘어가면 이 장치가 헐거워지고, 개발 속도가 사람의 검토 속도를 앞지를 수 있다.

개선 속도 2배를 만든 건 칩이 아니라 AI

지금까지 AI 성능을 끌어올린 동력은 스케일링이었다. 학습에 들어가는 컴퓨팅 자원을 늘리는 방식이다. 칩과 전력을 더 쓰면 성능이 오르는 구조여서, 비용과 속도를 어느 정도 내다볼 수 있었다.

METR의 판단은 이 공식을 벗어난다. 연구진은 앤트로픽의 가속이 단순히 컴퓨팅 확대 때문이 아니라고 “확신한다”고 밝혔다. 평가 시점 기준으로 가속의 대부분은 AI 덕분이고, 그 비중은 시간이 갈수록 커지고 있다고 봤다.

똑같은 가속이라도 어디서 오느냐에 따라 성격이 전혀 다르다.

• 컴퓨팅 주도 가속: 데이터센터 건설, 칩 공급 같은 물리적 제약에 묶인다. 바깥에서 지켜보기도 비교적 쉽다.
• AI 주도 가속: 더 나은 모델이 더 나은 연구를 낳고, 그 연구가 다시 모델을 개선한다. 물리적 제약에서 상대적으로 자유롭다. 그만큼 외부에서 속도를 가늠하기 어렵다.

METR이 덧붙인 대목은 더 무겁다. 연구진은 투입 대비 개선 폭이 줄어드는 수확 체감의 신호를 찾지 못했다. “더 빠른 가속”을 가로막을 뚜렷한 병목도 관찰되지 않았다고 했다. 가속이 저절로 꺾일 근거가 현재로선 보이지 않는다는 뜻이다. 컴퓨팅 주도 가속이라면 데이터센터와 칩 공급이 언젠가 제동을 걸겠지만, AI 주도 가속에는 그런 물리적 브레이크가 뚜렷하지 않다.

학습 마친 미공개 모델만 셋, 바깥에선 안 보이는 간격

METR이 측정한 가속과 생산성 향상은 상당 부분 미공개 내부 모델에서 나왔다. 일반 사용자는 쓸 수 없는 모델이다. 앤트로픽 연구자들은 외부에 공개된 것보다 앞선 모델로 다음 모델을 만들고 있다.

앤트로픽은 반년 남짓한 기간에 출시하지 않은 모델 세 개의 학습을 차례로 끝냈다고 METR은 밝혔다. METR이 전달받은 코드명은 Model 2, Model 3, Model 4. 회사 내부에서는 다른 코드명을 쓴다. 이와 별개로 Unreleased 2022라는 이름의 미공개 모델도 확인됐다.

이런 구조에서 생기는 문제가 ‘관찰 지연’이다.

• 외부 연구자와 정책 당국은 공개된 모델을 기준으로 AI 수준을 가늠한다.
• 실제 개발 최전선은 그보다 앞에 있다. 학습을 마치고 대기 중인 모델이 세 개라는 사실이 그 간격을 보여준다.
• 내부 모델이 다음 모델 개발을 앞당기는 구조라, AI 연구 자동화가 진행될수록 공개 모델과 내부 모델 사이의 간격은 더 벌어질 공산이 크다.

공개 모델만 보고 AI 발전 수준을 판단하면 실제 속도를 과소평가하기 쉽다. 가속을 만들어 내는 주된 원천이 바깥에서 볼 수 없는 모델이어서다. 공개 모델을 잣대로 삼는 정책 논의가 한발 늦게 따라가는 구조이기도 하다.

앤트로픽이 지운 증거, 외부 평가를 읽는 다섯 가지 기준

앤트로픽은 기밀 연구, 모델 성능 데이터, 직원 인터뷰 같은 비공개 정보를 METR에 넘겼다. 의무는 아니었다. METR도 “당초 범위보다 많은 정보를 공유해 기대를 넘어섰다”고 평가했다.

문제는 그다음이다. 앤트로픽은 최종 보고서를 편집할 권한을 갖고 있었고, 그 권한을 폭넓게 행사했다. METR은 X에 “약 100쪽 분량의 전체 보고서를 앤트로픽에 제출했고, 공개본에서는 우리가 가장 유익하다고 본 증거의 대부분이 편집됐다”고 적었다. 일부 데이터 요청은 거절당했다. 정보가 오가는 통로도 비교적 좁았다.

양측의 설명은 이렇게 엇갈린다.

• METR: 편집된 증거 상당수는 해석이 여러 갈래로 가능하다. 그래서 대중이 “이상적인 수준보다 METR의 판단에 훨씬 더 의존해야” 하는 처지가 됐다. 편집된 정보는 대부분 매우 개괄적인 수준이었다고 했다. 상업적으로 정당한 편집이었는지는 자신들이 판단할 위치가 아니라며 선을 그었다.
• 앤트로픽(공동창업자 샘 매캔들리시): 편집 때문에 다른 이들이 METR의 작업을 검증하기 어려워졌다는 점은 인정한다. 하지만 무엇이 가속을 이끄는지 정확히 공개하면 상업적으로 민감할 뿐 아니라, 다른 회사에 “더 빨리 가는 로드맵”을 쥐여 주는 꼴이 돼 METR이 우려하는 위험을 오히려 키운다는 입장이다.

이런 보고서는 결론보다 근거의 성격부터 따져야 한다. METR 보고서의 핵심 주장을 근거 유형별로 나눠 보면 다음과 같다.

주장	근거 유형	읽을 때 주의할 점
모델 개선 속도 1년 전 대비 약 2배	벤치마크 점수	어떤 벤치마크인지, 세부 점수가 공개됐는지 확인
1년간 과거 속도 기준 약 2년치 진전	벤치마크 점수	비교 기준으로 삼은 ‘과거 속도’ 구간에 따라 해석이 달라짐
가속의 대부분은 AI의 기여	METR 연구진 판단, 내부 자료	판단을 뒷받침한 핵심 증거가 편집돼 제3자 검증이 제한적
직원 생산성 약 12배	슬랙 설문·인터뷰 자기 보고	측정값이 아닌 체감치라 과대평가 가능성
미공개 모델 3개 학습 완료	앤트로픽 제공 정보	성능과 출시 계획은 공개되지 않음

표에서 측정치에 가까운 근거는 벤치마크 점수 두 줄뿐이다. 이 보고서에서 가장 무게가 실린 ‘가속의 대부분은 AI의 기여’라는 주장은 핵심 증거가 지워진 채 METR의 판단에 기대고 있다. 12배라는 생산성 수치는 자기 보고다. 편집권이 걸린 외부 평가를 볼 때는 다섯 가지를 확인하면 된다.

1. 접근 범위: 평가자가 무엇을 봤고, 무엇을 거절당했는가. 이번 평가는 앤트로픽이 안전 연구자에게 약속한 ‘직원 수준’ 접근 프로그램과는 별개로 진행됐고, 조건도 그보다 제한적이었다.
2. 편집 주체와 범위: 누가 무엇을 지웠는가. 지운 부분이 결론을 받치는 핵심인가.
3. 근거의 종류: 객관적 측정치인가, 자기 보고인가.
4. 이해관계: 제한이 붙더라도 독립 평가는 기업에 평판상 이득을 준다. 앤트로픽이 상장을 준비 중이라는 사실도 함께 놓고 봐야 할 맥락이다.
5. 후속 공개 약속: 평가받은 기업이 해명과 추가 자료를 내놓는가. 앤트로픽은 AI 발전 속도에 관한 자체 보고서와 안전 강화 조치를 따로 발표하겠다고 밝혔다.

국내 AI 사용자·개발자가 고쳐 잡을 네 가지 기준

이번 평가가 특정 제품 출시로 곧장 이어지지는 않는다. 그래도 AI를 업무에 쓰거나 서비스에 붙이는 국내 사용자라면 손볼 판단 기준이 몇 가지 있다. 아래에서 ‘추측’이라고 표시한 항목은 METR 평가 내용을 바탕으로 한 추론이다.

• 모델 교체 주기 단축(추측): 반년 남짓한 기간에 모델 세 개가 학습을 마쳤다. 이 속도라면 API로 쓰는 모델의 세대 교체도 잦아질 수 있다. 특정 모델의 동작에 맞춘 프롬프트와 품질 평가 기준은 갈아 끼우기 쉬운 구조로 관리해 두는 편이 안전하다.
• 공개 성능을 기술의 한계로 보지 않기: 국내 기업이 쓰는 공개 모델은 개발사 내부 모델보다 뒤처져 있다. 도입 계획이나 경쟁 분석에서 공개 성능만 보고 ‘AI가 이것까지는 못 한다’고 단정하면, 그 계획은 금방 낡는다.
• 생산성 수치를 그대로 옮기지 않기: 12배는 최상위 내부 모델을 쓰는 AI 연구자들의 자기 보고다. 일반 사무 업무나 공개 모델 환경의 기대치로 가져오면 과장된 목표가 나온다. 사내 도입 효과를 설명하는 자료에 이 숫자를 끌어다 쓰는 건 피하는 게 낫다.
• 외부 평가 제도 논의(추측): 국내에서 고성능 AI의 안전성 검증 방식을 설계할 때도 평가 기관의 접근 범위와 기업의 편집권을 어디까지 허용할지가 쟁점이 될 가능성이 크다. 편집권 하나가 평가의 설득력을 얼마나 깎아 먹는지 이번 사례가 보여줬다.

확인된 것과 아직 불확실한 것

확인된 것

• METR의 11주간 앤트로픽 내부 조사와 보고서 공개
• 벤치마크 기준 모델 개선 속도 1년 전 대비 약 2배, 1년간 과거 속도 기준 약 2년치 진전
• 평가 시점 기준 가속의 대부분이 AI 기여라는 METR의 판단
• 직원 자기 보고 생산성 약 12배, Mythos 5 사용 시기 응답의 약 2배
• 미공개 모델 Model 2·3·4의 학습 완료와 Unreleased 2022의 존재
• 약 100쪽 보고서 중 METR이 가장 유익하다고 본 증거 대부분을 앤트로픽이 편집
• 앤트로픽의 자체 보고서와 안전 강화 조치 발표 예고

아직 불확실한 것

• 가속을 이끈 구체적 기법과 AI 기여도의 정확한 비율
• 미공개 모델 세 개의 성능, 출시 여부와 시점
• 완전 자율형 AI 연구가 본격화하는 시점
• 편집 결정의 상업적 정당성
• 다른 AI 기업에서도 비슷한 가속이 일어나는지 여부
• 앤트로픽 자체 보고서의 공개 범위와 검증 가능성

다음 발표에서 볼 것: 자율형 비중, 병목, 검증 가능성

AI가 AI를 만드는 흐름은 보고서 한 편으로 결론이 나지 않는다. 비슷한 발표가 또 나오면 아래 세 가지부터 확인하면 된다. 과장과 실제를 가르기가 한결 쉬워진다.

1. 자율형 기여의 비중: AI가 사람을 돕는 데 그치는지, 독립적으로 연구 성과를 내는지. METR이 다음 단계로 지목한 지점이다.
2. 병목의 등장 여부: 수확 체감이나 물리적 제약이 나타나는지. 이번 평가에서 METR은 그런 신호를 찾지 못했다.
3. 검증 가능성: 외부 평가자가 내부 자료에 얼마나 접근하고, 결과를 얼마나 공개할 수 있는지. 편집되지 않은 근거가 늘어야 제3자도 가속의 크기를 확인할 수 있다.

개발 속도를 늦추자고 말해 온 회사가 가장 빠른 가속의 증거를 내놓고, 그 증거의 상당 부분을 가렸다. 겉으로 보면 모순이다. 매캔들리시는 이를 상업적 민감성과 경쟁사 가속 위험 사이의 절충이라고 설명했다. 그 설명에 일리가 있더라도, 대중이 직접 판단할 재료가 줄었다는 사실은 그대로 남는다. 평가 기관이 어디까지 볼 수 있고 무엇을 공개할 수 있는지, 그 원칙을 미리 정해 두는 제도 논의가 더 시급해진 이유다.

출처: The Verge