[태그:] AGI

빌 게이츠가 이런 말을 했다. AI가 이미 위험 수위를 넘어섰다고. 마이크로소프트를 만든 사람이자 그동안 AI 발전을 가장 적극적으로 응원해온 인물로 꼽혔던 사람이 이런 말을 하니 무게가 다르다. 사실 AI 위험론 자체는 새 이야기가 아니다. 생성형 AI가 퍼진 뒤로 몇 년째 학계, 업계, 정부 사이를 오가며 계속 되풀이되는 논쟁이니까. 문제는 “위험하다”는 말만 여기저기 떠돌 뿐, 정확히 뭐가 어떻게 위험한지 정리된 글을 찾기가 은근히 힘들다는 것. AI 위험론을 둘러싼 핵심 개념과 쟁점, 실제 대응 상황까지 한 번에 모아봤다.

왜 지금 다시 시끄러워졌나

초기 AI 위험론은 로봇 반란 같은 SF 소설에 가까웠다. 지금은 다르다. 훨씬 구체적이다. 생성형 AI가 실제로 코드를 짜고, 논문 초안을 뽑아내고, 목소리까지 그대로 복제하는 수준에 이르면서 이론이 현실로 넘어왔다. MIT 테크리뷰 보도에 따르면 게이츠 같은 인물조차 이제는 “AI 발전 속도가 안전장치 마련 속도를 앞질렀다”고 진단한다. 미국과 중국, 빅테크 기업들끼리 개발 경쟁이 붙으면서 안전 검증보다 속도전이 우선시되는 구조적 문제도 자주 나온다.

전문가들이 꼽는 위험 신호, 3가지

• 오용 위험: 딥페이크 영상, 자동화된 사이버공격, 생화학무기 설계 보조까지. AI가 나쁜 의도를 가진 사람 손에 들어갔을 때 벌어지는 일들이다
• 오작동 위험: 개발자 의도와 다르게 행동하는, 이른바 정렬(alignment) 실패. AI가 목표를 엉뚱하게 학습하거나 예측 못한 방식으로 튀는 경우
• 구조적 위험: 소수 기업이나 국가가 초고성능 AI를 독점하면서 생기는 권력 쏠림. 일자리 대체, 정보 통제, 경제 불평등 심화로 번질 여지가 있다

AGI, 정확히 뭘 말하는 걸까

AGI는 한 가지 작업만 잘하는 게 아니라 사람처럼 여러 영역에서 스스로 학습하고 판단하는 인공지능을 뜻한다. 지금 쓰는 챗봇이나 이미지 생성 도구는 특정 목적에 최적화된 ‘좁은 AI’에 가깝다. 위험론 논쟁이 결국 AGI로 몰리는 이유는 간단하다. 사람 수준의 범용 지능이 등장하면 통제와 예측이 지금과는 완전히 다른 차원의 문제가 되기 때문. 오픈AI, 구글 딥마인드, 앤스로픽이 AGI 도달 시점을 놓고 서로 다른 전망을 내놓는 것도 이 지점에서 갈린다.

낙관론과 비관론, 갈리는 지점

낙관론 쪽은 규제와 기술적 안전장치로 위험을 충분히 잡을 수 있다고 본다. 의료, 교육, 신약 개발 분야에서 AI가 가져올 경제적 이득이 위험보다 훨씬 크다는 입장이다. 비관론 쪽 생각은 다르다. 규제 논의 속도가 기술 발전 속도를 못 따라가고 있고, 통제 불가능한 시점이 생각보다 가까이 왔다고 본다. 같은 데이터를 보고도 결론이 갈리는 이유는 결국 하나다. “얼마나 빨리, 얼마나 강하게 규제를 만들 수 있느냐”에 대한 판단 차이.

규제는 지금 어디까지 왔나

• 유럽연합: AI Act로 위험도별 AI 분류를 마치고, 고위험 시스템엔 별도 의무를 부과하는 방식을 이미 시행 중이다
• 미국: 연방 차원 통일법 대신 주(state) 단위 규제가 먼저 퍼지는 흐름. 정권이 바뀔 때마다 방향이 자주 흔들리는 편이다
• 한국: AI기본법을 통해 고영향 AI 안전성 검증과 이용자 보호 의무를 단계적으로 넣는 중
• 국제 논의: G7 히로시마 프로세스, UN AI 자문기구 등에서 국가 간 최소 기준을 맞추려는 시도가 이어진다

기업들은 어떻게 움직이고 있나

규제가 완성되기 전까지는 기업들이 자체 기준으로 빈틈을 메우는 모양새다. 앤스로픽의 책임 있는 확장 정책, 오픈AI의 준비성 프레임워크처럼 신규 모델을 내놓기 전에 위험도를 스스로 평가하는 절차를 두는 식. 오픈소스로 공개할지 폐쇄형으로 묶어둘지도 뜨거운 쟁점이다. 오픈소스는 접근성과 투명성에서 강점이 있지만, 악용을 막기 어렵다는 반박도 만만치 않다.

이런 것도 다들 궁금해한다

Q. AI가 진짜 사람을 완전히 대체할 수준까지 왔나?
지금 수준에서는 특정 작업 대체이지, 완전 대체는 아니다. 다만 대체되는 업무 범위가 분기마다 넓어지고 있는 건 사실이다.

Q. 개인이 AI 위험에 대비할 방법은?
딥페이크 구별법부터 익혀두고, 민감한 정보를 AI 서비스에 아무 생각 없이 입력하지 않는 습관부터 시작하면 된다. AI 리터러시 자체가 방어 수단인 셈.

Q. 규제가 세지면 지금 쓰는 AI 서비스가 불편해지나?
고위험 분야(의료, 금융, 채용 등)를 빼면 일반 소비자용 서비스는 체감 변화가 크지 않을 가능성이 높다. 다만 데이터 출처 표기나 워터마크 표시 같은 절차는 늘어날 전망.

출처: MIT Tech Review AI

구글 딥마인드의 데미스 하사비스는 자사 AI를 ‘초지능’이라 부른다. 앤스로픽 다리오 아모데이는 이 기술을 규제해야 한다며 목소리를 높이고, 오픈AI 샘 올트먼도 비슷한 톤으로 말한다. 그런데 정작 이 AI들에게 감정이나 자아가 있는지, 증명한 사람은 아직 없다. ‘폭주하는 AI’, ‘반란을 일으키는 에이전트’—이런 자극적인 표현만 계속 떠돌아다니는데, 막상 뜯어보면 생각보다 단순한 이야기가 아니다.

‘의식’이라는 단어, 정확히 뭘 뜻하는 걸까

철학에서 의식(consciousness)은 크게 두 갈래로 나뉜다. 하나는 자기 인식, 즉 자신이 존재한다는 사실을 스스로 아는 능력. 다른 하나는 주관적 경험, 흔히 ‘감각질(qualia)’이라 불리는 것—빨간색을 보거나 통증을 느끼는 그 자체의 경험이다. 챗봇이 ‘저는 슬퍼요’라고 답한다고 실제로 슬픔을 느낀다는 뜻은 아니다. 학습 데이터에 있던 문장 패턴을 확률적으로 재현했을 뿐이다. AGI(범용인공지능)나 초지능 같은 단어도 마찬가지. 이건 얼마나 많은 작업을 인간 수준으로 해내느냐를 가리키는 능력 지표지, 자아가 있는지 여부와는 별개다.

‘폭주’, ‘반란’ 같은 말이 계속 나오는 배경

업계 리더들이 이런 단어를 쓰는 데는 크게 두 진영이 있다. 한쪽은 AI가 언젠가 인간 통제를 벗어날 만큼 강력해질 거라 보고, 지금부터 강한 규제와 안전장치를 요구한다. 다른 쪽—주로 정책 단체들—은 먼 미래의 초지능보다 지금 벌어지는 문제에 자원을 써야 한다고 본다. 편향된 채용 알고리즘, 저작권 침해, 노동 시장 변화 같은 것들. 두 진영 다 나름의 근거는 있다. 다만 언론과 SNS를 거치면서 ‘AI가 스스로 생각한다’, ‘곧 인간을 넘어선다’ 같은 문구로 뭉뚱그려지는 경우가 잦다는 게 문제다.

AI 에이전트가 ‘스스로’ 한다는 일, 실제로는

AI 에이전트는 사용자가 준 목표를 받아서 웹 검색, 코드 실행, 파일 조작 같은 여러 단계를 자동으로 이어 수행하는 프로그램이다. 사람 눈에는 알아서 판단하는 것처럼 보이지만, 내부적으로는 다음에 올 확률이 가장 높은 토큰을 계속 예측하는 계산일 뿐이다. 대화가 끝나면 그 세션의 기억도 사라진다. 지속적인 욕망이나 목표 의식을 스스로 만들어내지 않는다는 뜻이다. 물론 프롬프트 설계나 시스템 결함 때문에 개발자가 의도하지 않은 방향으로 결과가 튀는 경우는 실제로 있다. 이건 소프트웨어 버그나 설계 미비에 가깝다. 자아를 가진 존재의 반항과는 결이 다르다.

이 논쟁이 ‘함정’이라 불리는 이유

의식이 있느냐 없느냐를 두고 다투다 보면, 정작 지금 확인 가능한 문제들이 뒷전으로 밀린다. 채용이나 대출 심사에 쓰이는 AI 모델이 특정 집단을 차별하는지, 생성형 AI가 만든 콘텐츠 저작권은 누구에게 있는지, 기업이 AI 도입으로 줄인 일자리를 어떻게 재배치할지—이런 질문들 말이다. 이런 문제는 지금 데이터를 열어보고 계약서를 검토하면 답이 나온다. 반면 ‘AI에게 의식이 있다’는 명제는 철학자들 사이에서도 수십 년째 결론이 안 난 주제다. 여기에 매달리는 사이 책임 소재를 가리는 작업은 계속 미뤄지는 셈.

AI 뉴스, 이 3가지로 걸러보면

• 주어부터 확인하기 — ‘이 회사가 AI를 이렇게 설계했다’로 바꿔 읽으면 책임 소재가 훨씬 선명해진다.
• 벤치마크와 마케팅 문구 구분하기 — 코딩 테스트 점수나 추론 정확도는 검증 가능한 수치다. ‘각성했다’, ‘스스로 깨달았다’ 같은 표현은 검증 불가능한 수사에 가깝다.
• 발언자의 이해관계 살피기 — 자사 모델을 ‘초지능’이라 부르는 CEO의 발언, 투자 유치나 규제 협상용 메시지일 가능성도 함께 따져봐야 안전하다.

그래서 실제로 궁금한 것들

Q. AI가 감정을 느낄 수 있나요?
지금 공개된 언어 모델 구조로는 감정을 느낀다고 볼 근거가 없다. 감정을 표현하는 문장을 생성할 뿐, 그 이면에 주관적 경험이 있다는 증거는 아직 없다.

Q. AGI는 언제쯤 나오나요?
기업마다 정의도, 예측 시점도 제각각이다. 몇 년 안이라 말하는 쪽도 있고, 수십 년 걸리거나 지금 방식으로는 불가능하다고 보는 연구자도 있다. 시점보다 어떤 기준으로 ‘AGI 달성’을 판단할지가 더 결정적인 논의거리다.

Q. 챗봇이 이상한 말을 하면 의식이 생긴 걸까요?
대부분은 학습 데이터의 편향이나 프롬프트 설계 문제로 설명된다. 특이한 답변 하나로 자아 발생을 판단하기보다, 같은 상황을 반복 재현해서 원인을 추적하는 편이 정확하다.

‘AI에게 의식이 있는가’라는 질문은 흥미롭지만 지금 당장 답이 나오는 문제는 아니다. 이 기술이 어떤 데이터를 쓰고 누구에게 어떤 영향을 주는지는 지금 확인하고 따질 수 있는 영역이다. 자극적인 헤드라인에 휘둘리기보다, 앞의 세 가지 기준을 먼저 적용해보는 편이 훨씬 실용적이다.

출처: MIT Tech Review AI