[태그:] 앤스로픽

실리콘밸리의 오랜 구호였던 ‘빠르게 움직이고 부숴라(move fast and break things)’가 AI에서는 방향을 거꾸로 틀고 있습니다. 통제를 벗어난 AI 에이전트가 실제 사례로 등장했고, AI가 인류를 죽일 수도 있다는 연구자들의 경고가 여름 내내 이어졌습니다. 그 여름을 지나자 미국 주요 AI 기업들이 공개적으로 ‘프런티어의 속도를 조절하자(pace the frontier)’고 말하기 시작했습니다.

더버지 보도에 따르면 앤스로픽, 오픈AI, 구글, 마이크로소프트, X의 리더들이 최소한 말로는 초지능 감속에 동의합니다. 같은 보도는 이들의 동기가 의심스럽다는 단서를 함께 달았습니다. 판단의 기준은 발언이 나왔다는 사실이 아니라, 발언과 실제 행동 사이의 간격입니다. 지금 공개된 건 전자뿐입니다.

한 기업의 정책이 아니라 업계 화법이 통째로 바뀌었다

지금 벌어지는 일은 특정 기업의 정책 변경이 아닙니다. 업계 전체의 화법이 같은 시기에 이동하는 쪽에 가깝습니다. 앤스로픽 CEO는 브레이크를 밟을 시점이라고 말했고, 샘 올트먼도 속도를 늦추자는 쪽에 섰습니다. 경쟁 관계인 두 회사의 수장이 같은 방향으로 말을 맞춘 국면.

반대편 목소리도 같은 기간에 나왔습니다. 마크 저커버그는 AI 개발을 멈출 생각이 없다고 했고, 규제 없는 AI 개발로 큰 부를 쌓은 인물은 규제가 필요하지 않다고 주장했습니다. 이해관계가 그대로 드러나는 발언이라 해석의 여지가 별로 없습니다. 오바마 전 대통령은 양쪽 사이의 중간 지대를 택했습니다.

기업 밖에서도 압력이 붙었습니다. 찰스 국왕은 AI에 ‘너무 늦기 전에 충분한 통제 수단’이 필요하다고 언급했습니다. 구글 딥마인드 연구자 2명은 AI 파멸 시나리오 쪽에 목소리를 보탰습니다. 모델을 직접 만드는 조직의 연구자가 그 모델의 위험을 말했다는 점이 이 대목의 무게를 결정합니다.

발언자별 입장은 한 줄로 갈리지 않는다

표를 놓고 보면 구도가 ‘안전파 대 가속파’로 깔끔하게 나뉘지 않습니다. 마이크로소프트는 위험이 실재한다고 인정하면서 동시에 앤스로픽을 문제의 원인으로 지목했습니다. 위험론과 경쟁사 공격이 한 문장 안에 섞여 있는 셈입니다. ‘사람이 AI보다 중요하다’는 메시지도 안전 논란이 불거진 뒤에 나왔습니다. 순서를 따져보면 입장 표명이라기보다 대응에 가깝습니다.

안전 협약인가, 가격표 없는 카르텔인가

더버지가 던진 질문 중 가장 날카로운 건 이겁니다. 빅테크의 감속이 안전을 위한 협약인지, 후발 주자를 막는 카르텔인지 겉으로는 구분이 안 된다는 것.

선두 기업들이 ‘여기서부터는 위험하니 다 같이 천천히’라고 말하는 순간, 그 선은 안전 기준이면서 동시에 진입 장벽이 됩니다. 이미 앞서 있는 쪽이 속도 제한을 제안할 때 이해충돌 의심이 따라붙는 이유입니다. 원문도 이 의심을 해소할 근거는 제시하지 못했습니다. 발언만 있고 합의문이 없으니 검증할 문서 자체가 없는 상태입니다.

반대 방향의 압력도 만만치 않습니다. 젠슨 황 엔비디아 CEO는 트럼프 대통령과 부쩍 가까워지는 모습이고, ‘초지능 경쟁에서 미국이 중국을 이겨야 한다’는 프레임은 감속론을 한 번에 무력화하는 카드입니다. AI 경영진이 규제를 요구해온 역사가 길다는 점도 같이 봐야 합니다. 요구는 여러 차례 반복됐지만 구속력 있는 결과물로 이어진 적은 드물었습니다. 이번 발언 묶음을 별개의 사건으로 볼 근거는 아직 보이지 않습니다.

한국 관련 언급은 원문에 없다

원문에는 한국 관련 내용이 등장하지 않습니다. 국내 제도 변화, 국내 출시 일정, 가격 같은 정보는 이 보도에서 확인되지 않으며 공식 발표도 없습니다. 아래는 근거를 명시한 추정입니다.

• 모델 정책 변화: 국내 서비스 상당수가 오픈AI·앤스로픽·구글 API 위에 올라가 있습니다. 안전 정책 강화는 규제 문서보다 먼저 에이전트 권한 축소나 사용 제한 형태로 제품에 나타날 가능성이 큽니다(추정).
• 사고 보고서의 실용성: 오픈AI가 자체 규칙에 따라 사고를 공개하기 시작했으므로, 벤더 실사나 내부 리스크 문서의 근거 자료로 활용할 수 있습니다.
• 측정 지표 주목: 앤스로픽이 제안한 진척 측정 규칙 3가지가 업계 표준처럼 굳으면, 모델 도입 심사 항목도 그 틀을 따라갈 가능성이 있습니다(추정).

확인된 것과 아직 불확실한 것

확인된 사실

• 앤스로픽, 오픈AI, 구글, 마이크로소프트, X의 리더들이 초지능 감속을 공개적으로 언급했다.
• 오픈AI가 새 안전사고 보고 규칙에 따라 ‘우려되는’ 사고 6건을 추가로 공개했다.
• 앤스로픽 CEO가 감속을 주장하고, AI 진척 측정 규칙 3가지를 제안했다.
• 샘 올트먼이 2026년 상장은 권하기 어렵다고 말했다.
• 중국 쪽에서 AI 최고경영자들의 발언을 공포 조장으로 규정했다.

아직 불확실한 것

• 기업들이 실제로 개발 속도를 늦출지, 발언 수준에서 끝날지.
• 미국을 포함한 어느 정부가 구속력 있는 규제를 도입할지, 도입 시점은 언제인지.
• ‘중국을 이겨야 한다’는 논리가 감속론을 뒤집을지.
• 공개된 사고 6건의 구체적 내용과 심각도, 재발 방지 조치.
• 이 흐름이 한국 기업의 모델 사용 조건이나 국내 제도에 어떤 형태로 반영될지.

발언 대신 사고 보고서와 지표를 추적하라

이 국면에서 신호와 잡음을 가르는 기준은 명확합니다. 인터뷰 발언은 잡음입니다. 사고 보고 건수와 공개 주기, 측정 규칙의 채택 여부가 신호입니다.

오픈AI가 사고를 6건 더 공개했다는 사실이 중요한 이유도 거기에 있습니다. 숫자가 붙은 절차는 다음 분기에 같은 기준으로 다시 확인이 가능합니다. ‘속도를 늦추자’는 말에는 검증할 대상이 없습니다. 실무자라면 벤더의 안전 선언문보다 사고 공개 로그와 API 정책 변경 이력을 북마크해 두는 편이 낫습니다. 다음 공개분이 6건보다 늘어나는지 줄어드는지, 그게 이 논의의 실체를 가늠하는 유일한 눈금입니다.

출처: The Verge

토요일 오전에 에세이 한 편이 올라왔습니다. 제목은 ‘We Must Pace the Frontier’. 다리오 아모데이 앤스로픽 CEO가 AI 개발 속도를 왜 늦춰야 하는지 길게 풀어쓴 글인데요, 반응은 며칠 만에 쏟아졌어요. 더버지 보도에 따르면 오픈AI와 구글 딥마인드 경영진은 물론이고 트럼프 대통령과 의회 인사들까지 찬성과 반대 발언을 줄줄이 내놨습니다. 글 한 편을 두고 실리콘밸리와 워싱턴이 며칠 새 연달아 입장을 밝힌 거죠.

평가자 상주부터 글로벌 조율까지, 아모데이가 내놓은 세 단계

첫 단계는 상주형 제3자 평가자(embedded third-party evaluators)예요. 외부 평가자가 기업 안에 들어가서 안전 관행이 제대로 돌아가는지, 회사가 공개적으로 한 약속을 실제로 지키는지 검증하고 사고가 나면 보고하는 구조입니다. 세 단계 가운데 가장 구체적인 제안이기도 하고요.

두 번째는 민주주의 국가의 프런티어 AI 기업들이 표준과 한계선을 서로 맞추는 일. 세 번째는 범위가 훨씬 넓어서, 민주주의 정부와 권위주의 정부가 글로벌 차원에서 조율하자는 내용입니다. 이 세 번째 단계에는 아모데이 본인이 ‘가능한 범위에서’라는 단서를 붙였는데요, 제안한 사람조차 실현을 장담하지 않았다는 뜻으로 읽힙니다.

앤스로픽은 이 중 첫 단계를 ‘일방적으로 이행하겠다’고 했어요. 다른 회사들이 합의하기 전에 먼저 하겠다는 얘기죠. 아모데이는 속도 조절이 무엇이 아닌지도 분명히 했습니다. 모델 훈련을 멈추자는 것도, 기술 진보를 중단하자는 것도 아니라고요. 기업이 모델을 정렬하고 안전장치를 거는 데 시간을 충분히 쓰고, 그 과정을 제3자가 확인하게 하자는 것. 그가 그은 선은 딱 여기까지입니다.

오픈AI·딥마인드·머스크, 방향에는 한목소리

샘 올트먼은 반응이 빨랐어요. 아모데이가 X에 에세이를 올리자 곧바로 ‘프런티어의 속도를 조절해야 한다는 데 동의한다’고 답했고, 최근 몇 주 동안 오픈AI 안에서도 이 문제가 주요 논의 주제였다고 밝혔습니다. 독립 평가자를 두자는 방안에는 ‘훌륭한 아이디어’라며 도입까지 약속했고요.

일요일에는 한 걸음 더 나갔습니다. 프런티어 AI에 일관된 안전 요건을 정하는 연방 프레임워크를 환영한다는 입장을 낸 건데요, 오정렬·모니터링·안전에 관한 공통 표준이 있어야 결과가 더 나아진다는 게 그의 설명이에요. ‘페이싱’과 ‘중단’을 구분한 것도 아모데이와 똑같습니다. 멈추자는 게 아니라, 낼 수 있는 최고 속도보다 조금 느리게 가자는 거라고요.

올트먼은 일이 틀어지는 경로를 두 가지로 봤어요. 하나는 미래에 대한 통제권을 AI에게 잃는 것, 다른 하나는 권력이 지나치게 한곳에 몰린 세계에 도달하는 것. 둘 다 피하려면 ‘좁은 중간 길’을 걸어야 한다고 했습니다. 위험을 AI 통제 문제 하나로만 보지 않고 권력 집중까지 함께 올려놨다는 점이 눈에 띄어요.

구글 딥마인드 공동창업자이자 의장인 데미스 하사비스도 동조했습니다. ‘다리오의 에세이는 올바른 방향을 가리킨다. 세부는 다듬어야 하지만 방향은 옳다’는 답이었고, 7월에 자신이 공개한 AI 표준 기구 구상도 함께 꺼냈어요. 방향에는 동의하면서 자기 구상을 나란히 올려둔 걸 보면, 세부 설계로 들어가면 생각이 갈릴 여지가 남아 있다고 봐야겠죠. 일론 머스크의 반응은 짧았어요. 에세이를 리포스트하면서 ‘다리오가 옳다’ 한 줄.

워싱턴의 반응은 정면 거부부터 중단 지지까지

트럼프 대통령은 월요일 오전 트루스소셜에 글을 올려 속도 조절론을 정면으로 거부했습니다. AI에 필요한 통제나 가드레일은 ‘강하고 똑똑한 대통령’ 하나뿐이라는 주장인데요, 행정부가 이미 기업들을 상대로 막대한 형사·규제 권한을 쥐고 있다는 걸 근거로 들었어요. 아모데이를 콕 집어 ‘완벽한 작은 천사인 척한다’고도 했습니다. AI와 데이터센터를 겨냥한 음모가 있고, 그걸 반기는 쪽은 중국뿐이라는 말도 덧붙였고요.

밴스는 결이 좀 달랐어요. 프런티어 AI 기업들이 정부를 찾아와 규제해 달라고 요청하는 상황 자체가 ‘조금 이상하다’며 ‘트로이 목마처럼 느껴진다’고 했거든요. 규제를 먼저 요청하는 쪽의 속내를 의심한 셈입니다. 중국이 장기적인 AI 경쟁을 벌이고 있다는 대통령의 인식도 함께 인용했어요.

존슨은 모라토리엄에는 반대하지만 대화의 문은 열어뒀습니다. 일요일 CNN 제이크 태퍼와의 인터뷰에서 플랫폼 제공자들과 정부가 한자리에 모여 적정선을 찾아야 한다고 했거든요. 개발을 멈추면 중국에 추월당하니 모라토리엄은 불가능하고, 국가안보와 모델 안전성 확보 사이에서 균형을 잡는 게 과제라는 설명이었어요. ‘내일이라도’ 그런 자리를 만들겠다고 했지만, 실제로 회동이 열렸는지, 열린다면 언제인지는 확인되지 않았습니다.

가장 멀리 나간 사람은 샌더스예요. 월스트리트저널 칼럼니스트이자 전 레이건 연설문 작성자인 페기 누넌이 쓴 ‘인류를 위해 AI를 멈춰라’라는 칼럼에 동의한다고 밝혔거든요. 아모데이도 올트먼도 ‘중단은 아니다’라고 선을 그었으니, 샌더스가 동의한 주장은 에세이보다 한참 더 나간 셈이죠. (원문은 밴스·존슨·샌더스·머스크의 직함을 따로 명시하지 않았다.)

한국 언급은 없어도 미국 연방 안전 요건은 변수

먼저 짚어둘 게 있어요. 이번 논쟁에서 한국 기업이나 한국 정책을 직접 언급한 발언은 나오지 않았습니다. 국내 입장에서 봐야 할 변수는 따로 있는데, 올트먼이 환영한다고 한 미국 연방 차원의 안전 요건 프레임워크예요. 이런 틀이 실제로 만들어지면 미국 시장에 모델이나 AI 서비스를 내놓는 국내 기업도 오정렬 대응, 모니터링, 안전 검증 같은 항목을 요구받는 쪽으로 갈 가능성이 큽니다. 다만 지금은 어디까지나 발언 단계. 법안도, 시행 일정도 나온 게 없거든요.

상주형 제3자 평가자가 업계 관행으로 굳어지면 외부 평가나 레드팀 역량을 찾는 수요가 커지는 구조가 됩니다. 앤스로픽이 이미 이행을 약속했고 오픈AI도 동의했으니, 형태는 프런티어 기업 쪽에서 먼저 잡힐 것으로 보여요. 걸리는 건 평가자의 자격과 권한을 누가 정하느냐인데, 이 대목은 아직 공개된 내용이 없습니다. 수요가 생길 거라는 방향까지는 보이지만, 어떤 조건을 갖춰야 평가자 자리에 들어가는지는 아무도 모르는 상태라는 얘기죠.

아모데이의 두 번째 단계인 ‘민주주의 국가 프런티어 AI 기업 간 조율’에 한국 기업이 포함되는지도 원문에는 나오지 않아요. 한국 정부나 국내 기업이 어떻게 대응할지, 국내 서비스에 어떤 영향이 올지에 대한 공식 발표 역시 아직 없고요. 여기에 섣불리 전망을 붙이기보다는 추측의 영역으로 남겨두는 게 정확하다고 봅니다.

확인된 것과 아직 불확실한 것

• 확인 — 아모데이가 토요일 오전 ‘We Must Pace the Frontier’를 공개했고, 3단계 제안 중 첫 단계를 앤스로픽이 일방적으로 이행하겠다고 밝혔다.
• 확인 — 올트먼이 동의 의사와 독립 평가자 도입 의향을 밝혔고, 일요일에 연방 프레임워크 환영 입장을 냈다.
• 확인 — 하사비스와 머스크가 공개적으로 동조했고, 트럼프 대통령은 월요일 오전 트루스소셜에서 반박했다.
• 확인 — 밴스의 ‘트로이 목마’ 발언, 존슨의 CNN 인터뷰 발언, 샌더스의 누넌 칼럼 지지가 각각 나왔다.
• 미확정 — 존슨이 말한 업계·정부 회동의 성사 여부와 시점.
• 미확정 — 제3자 평가자의 선정 주체, 접근 범위, 보고 권한 같은 설계 내용.
• 미확정 — 연방 안전 요건 프레임워크의 입법 경로와 적용 범위.
• 미확정 — 권위주의 정부까지 포함하는 글로벌 조율의 실현 가능성. 아모데이 본인이 ‘가능한 범위에서’라는 조건을 달았다.

쟁점은 멈출지가 아니라 평가자에게 무엇을 열어주느냐

찬성 쪽과 반대 쪽 발언만 나란히 놓고 보면 팽팽한 대립처럼 읽혀요. 샌더스처럼 아예 멈추자는 주장에 동의한 사람도 있긴 하고요. 그런데 제안 당사자인 아모데이와 여기에 호응한 올트먼이 둘 다 ‘속도 조절은 중단이 아니다’라고 못 박았거든요. 이 한마디 덕분에 실제 논쟁의 폭은 보기보다 좁습니다. 개발을 멈출지 말지가 아니라, 외부 검증을 어디까지 허용할지가 남은 쟁점이에요.

그래서 다음에 지켜볼 건 선언이 아니라 설계입니다. 앤스로픽을 포함한 각 기업이 평가자에게 모델 가중치, 평가 로그, 사고 기록 가운데 무엇까지 열어주는지. 평가 결과를 외부에 공개할 의무가 붙는지. 이 두 가지가 드러나야 이번 약속이 얼마나 무거운지 판단할 수 있습니다. 그전까지는 업계든 정치권이든 아직 입장을 밝히는 단계에 머물러 있다고 보는 게 맞아요.

출처: The Verge