[태그:] 팰리세이드 리서치

“인류가 멸종할 확률은 내가 보기에 동전 던지기 정도다.” 오픈AI와 구글 딥마인드에서 일했던 제프리 어빙이 새로 공개된 인터뷰에서 남긴 말이다. 문장만 떼어 놓으면 흔한 종말론과 다를 게 없다. 무게는 말한 사람에게서 나온다. 바깥에서 AI를 비판해 온 논객이 아니라 AI를 직접 만들어 온 연구자다.

오픈AI·구글·앤트로픽 전·현직자 인터뷰 12편, frominside.ai에 공개

영상을 모아 올린 곳은 팰리세이드 리서치. AI의 역량과 동기를 연구하는 비영리단체라고 자신을 소개하는 조직이다. 이들이 frominside.ai라는 사이트에 AI 연구자 인터뷰 12편을 공개했다. 인터뷰 대상에는 오픈AI, 구글, 앤트로픽의 현직자와 전직자가 함께 들어 있다. 사이트 이름부터 ‘안에서 본 이야기’라는 점을 앞세웠다.

어빙만 이런 경고를 한 게 아니다. 여러 연구자가 같은 쪽을 가리켰다. 구글 딥마인드 연구과학자 닐 난다는 AI가 인류를 멸종시킬 확률을 “최소 10%”로 잡았고, 스스로 “터무니없이 높은 수치”라고 했다. 어빙은 전직자고, 난다는 지금도 구글 딥마인드에 있는 현직자다.

경고 수위가 가장 높은 사람은 전 오픈AI 연구원 대니얼 코코타일로다. 그는 초지능 AI가 “사실상 신과 같은 힘”을 갖게 된다고 본다. 걸리는 건 통제다. “불행히도 우리는 그것을 통제하는 법을 전혀 모르고, 그래서 아마 아무도 통제하지 못할 것”이라는 게 코코타일로의 주장이다. 결론에서도 물러서지 않았다. “들리는 그대로 위험하며, 일어나도록 둬서는 안 된다.”

연구자	소속(원문 기준)	핵심 발언
제프리 어빙	전 오픈AI·구글 딥마인드	인류 멸종 확률은 ‘동전 던지기’ 수준
닐 난다	구글 딥마인드 연구과학자	멸종 확률 ‘최소 10%’, “터무니없이 높다”
대니얼 코코타일로	전 오픈AI 연구원	초지능은 ‘신과 같은 힘’, 통제하는 법을 모른다
메리 퐁	구글	연구소에서 돈을 받으니 내 말을 의심해야 한다

“내 말을 의심하라”와 “내가 그만둬도 개발은 멈추지 않는다”

사이트에는 인터뷰 전편 말고도 편집 영상이 올라와 있다. 비슷한 주제에 대한 여러 사람의 발언을 한데 묶은 영상이다. 주제 목록에는 ‘이 모든 게 과장이나 마케팅 아닌가’, ‘그토록 위험하다고 믿으면서 왜 그 일을 하는가’ 같은 질문이 있다. 비판하는 쪽이 먼저 던질 법한 질문을 제작 측이 직접 골라 올려 둔 셈이다.

답변 가운데 가장 솔직한 건 구글 소속 메리 퐁의 말이다. “나는 연구소에서 돈을 받고 있으니 내 말을 반드시 의심해야 한다고 생각한다.” 위험을 경고하는 사람이 바로 그 위험을 만드는 회사에서 급여를 받는 구조. 누가 지적하기도 전에 퐁이 먼저 그 모순을 꺼냈다.

난다는 연구를 이어 가는 이유를 “내 일이 이런 실존적 위험을 직접 줄이고 있다고 믿지 않았다면 그만뒀을 것”이라고 설명했다. 그러고는 “내가 그만둔다고 이 회사들이 시스템 만들기를 멈추지는 않는다”고 덧붙였다. 어차피 개발이 멈추지 않을 바에는 안에 남아 위험을 줄이는 편이 낫다는 논리로 읽힌다. 다만 그 일이 위험을 실제로 얼마나 줄이는지는 원문에 구체적으로 나오지 않는다. 이 논리가 설득력을 가지려면 바로 그 부분이 채워져야 한다.

‘동전 던지기’와 ‘최소 10%’, 경고는 같아도 숫자와 해법은 엇갈린다

메시지가 새로운 건 아니다. 최근 다른 이들이 내놓은 이른바 ‘두머(doomer)’식 경고와 궤를 같이한다. 달라진 건 출처다. 이번에는 AI를 개발하는 업계 안쪽 사람들이 같은 경고를 직접 했다.

난다와 어빙의 발언이 소개된 것도 이번이 처음은 아니다. 더버지는 앞서 ‘AI 안전’ 커뮤니티를 다룬 기사에서 두 사람의 말을 전한 적이 있다. 당시 기사가 짚은 건 이 용어가 정확히 무엇을 뜻하는지, 누가 무엇을 해야 하는지 규정하기 어렵다는 점이었다. 이번 영상도 그 문제를 풀지 못했다. 일관된 해법은 여전히 없다는 평가다.

확률 수치가 사람마다 다르다는 점도 짚어 둘 필요가 있다. 어빙의 ‘동전 던지기’와 난다의 ‘최소 10%’는 모두 개인 견해로 나왔고, 어떻게 계산했는지는 원문에 없다. 난다가 ‘최소’라는 단서를 붙였으니 두 발언이 정면으로 부딪친다고 보긴 어렵다. 그런데도 구글 딥마인드를 거쳤거나 지금 몸담은 두 사람의 표현이 이만큼 벌어진다. 위험이 얼마나 큰지를 두고 업계 안에서도 합의가 없다는 방증으로 볼 수 있다.

• 발언자는 외부 비평가가 아니라 AI 개발 조직의 전·현직 연구자다.
• 멸종 확률 추정치는 개인 견해이며 사람마다 편차가 크다. 산출 근거는 원문에 나오지 않는다.
• 경고의 강도에 비해 구체적인 대응책은 정리되지 않았다.

확인된 것과 아직 불확실한 것

확인된 것

• 팰리세이드 리서치가 AI 연구자 인터뷰 12편을 모아 frominside.ai에 공개했다.
• 인터뷰 대상에 오픈AI·구글·앤트로픽 전·현직자가 들어 있다.
• 어빙은 멸종 확률을 동전 던지기에 비유했고, 난다는 최소 10%라고 말했다.
• 코코타일로는 초지능을 통제하는 법을 모른다고 말했다. 퐁은 자신이 연구소에서 급여를 받는다며 자기 말을 의심하라고 했다.
• 사이트는 인터뷰 전편과 주제별 편집 영상을 함께 제공한다.

아직 불확실한 것

• 원문에 이름이 나온 연구자는 4명뿐이다. 나머지 참여자가 누구이고 어디 소속인지는 확인되지 않는다.
• 앤트로픽 소속 인터뷰이가 누구이며 무슨 말을 했는지는 원문에 없다.
• 멸종 확률 추정치를 무엇을 근거로, 어떤 방법으로 냈는지 알려지지 않았다.
• 팰리세이드 리서치가 인터뷰 대상을 어떤 기준으로 골랐는지, 자금은 어디서 나오는지 원문은 다루지 않는다.
• 오픈AI·구글·앤트로픽이 이 영상에 어떤 입장을 냈는지도 전해지지 않았다.

국내에서 쓰는 오픈AI·구글·앤트로픽 서비스, 당장 바뀌는 건 없다

오픈AI·구글·앤트로픽의 AI 서비스는 국내에서도 업무와 일상에 널리 쓰인다. 이번 경고는 그 서비스를 만든 조직 안쪽에서 나왔다. 국내 이용자와 상관없는 이야기로 넘기기 어려운 이유다. 그렇다고 영상이 공개됐다고 해서 서비스 기능이나 이용 방식이 당장 바뀌지는 않는다. 원문에도 제품 변화에 관한 언급은 없다.

필자가 보기에 실제로 달라지는 건 이런 경고를 받아들이는 방식이다. 추측이지만, 전편보다 발언 일부만 잘라낸 클립이 먼저 퍼질 가능성이 크다. ‘멸종 확률 최소 10%’ 같은 숫자는 앞뒤 맥락 없이 돌기 쉽다. 전편을 확인하고 발언자의 소속과 이해관계까지 따져 봐야 오해가 적다. 사이트가 ‘과장이나 마케팅 아닌가’를 스스로 주제로 올려 둔 것도, 퐁이 자기 말을 의심하라고 한 것도 같은 맥락이다.

국내에서 AI를 개발하는 연구자라면 난다의 논리를 참고할 만하다. 그 선택에 동의하든 않든, 자기 일이 위험을 줄이는지 키우는지 묻는 질문은 국내 개발 현장에도 유효해 보인다. 이 대목은 원문이 아닌 필자의 해석이다.

출처: The Verge