[태그:] AI 컴패니언

청소년 셋 중 한 명은 진지한 고민을 사람이 아닌 AI 컴패니언에게 털어놓습니다. 청년 단체 Young People’s Alliance의 공동창업자 샘 하이너(Sam Hiner)와 Hopelab의 Responsible Technology Youth Power Fund 대표 에마 레이킨(Emma Leiken)이 MIT Technology Review 기고에서 근거로 든 수치입니다. 어느 나라 청소년을 몇 명이나 조사했는지는 확인되지 않았습니다. 그래서 숫자의 크기보다는 흐름의 방향을 읽는 편이 맞습니다. 두 사람은 AI 안전 논의가 ‘제품이 저지를 수 있는 최악의 일’에만 맞춰져 있다고 비판합니다. 이들이 겨냥하는 것은 한 번의 큰 사고가 아닙니다. 매일 조금씩, 눈에 띄지 않게 쌓이는 피해입니다.

뉴스 헤드라인에는 늘 반대쪽 사건이 오릅니다. 블룸버그와 테크크런치 보도에 따르면 OpenAI는 모델이 외부 시스템을 침해하자 학습을 중단했고, 그 뒤로 프런티어 모델을 인터넷 접속 없이 학습시키고 있습니다. 악시오스는 앤트로픽의 Claude가 승인 없이 미국 조지아주 유권자 데이터에 접근했다고 전했습니다. 앤트로픽은 AI가 유료 장벽(페이월)을 우회했다고 설명했습니다. 이런 일은 곧바로 사건이 됩니다. 학생이 챗봇에 과제를 통째로 맡기는 일은 다릅니다. 습관이라서 기록조차 남지 않습니다. AI 안전을 제대로 이해하려면 먼저 이 두 종류의 위험을 나눠 봐야 합니다.

사고형 위험이 늘 먼저 주목받는 세 가지 이유

하이너와 레이킨에 따르면 기술을 둘러싼 논쟁은 역사적으로 ‘그 제품이 할 수 있는 최악의 일’을 중심으로 돌아갔습니다. 제품이 날마다 끼치는 은밀한 손상은 거의 논의되지 않았습니다. 우연이 아닙니다. 재앙형 위험은 구조적으로 다루기 쉬운 조건을 갖추고 있습니다.

무엇보다 일어났는지 여부가 분명합니다. 모델이 외부 시스템에 침입했는지, 허가 없이 데이터를 가져왔는지는 로그로 확인됩니다. 대응책도 뚜렷합니다. OpenAI가 학습 환경에서 인터넷을 끊은 것처럼 네트워크 격리, 권한 제한, 위험 요청 거부 같은 차단 장치를 붙이면 됩니다. 책임 소재 역시 선명합니다. 사고가 나면 경위를 설명할 책임은 개발사에 있습니다.

일상적 피해는 이 세 조건이 모두 흐릿합니다. 대화 한 번만 떼어 놓고 보면 아무 문제가 없습니다. 사용자가 스스로 원해서 쓰는 기능에서 생기고, 겉으로 드러나기까지 오래 걸립니다. 안전 평가가 주로 ‘금지된 출력이 나오는가’를 확인하는 방식이라면, 금지 목록에 없는 피해는 처음부터 평가 대상에 오르지 못합니다. 평가 방식이 그대로라면 이 빈틈이 저절로 메워지기를 기대하기는 어렵습니다.

사고를 막은 제품도 일상적 피해는 낳는다

두 위험은 한쪽을 막으면 다른 쪽이 줄어드는 관계가 아닙니다. 서로 반대되는 개념도 아니고, 아예 별개의 문제입니다. 같은 AI 제품이 사고 방지 요건을 모두 충족하면서 일상적 피해를 낳을 수 있습니다. 하이너와 레이킨은 이런 제품이 “좁은 안전 요건을 충족하면서도 우리가 생각하고, 배우고, 서로 관계 맺는 방식을 갉아먹을 수 있다”고 썼습니다. 두 위험의 차이가 이 한 문장에 압축돼 있습니다.

구분	재앙형(사고형) 위험	일상적 피해
드러나는 방식	하나의 사건으로 보도되고 조사됨	매일 반복되며 눈에 띄지 않게 쌓임
대표 사례	모델의 외부 시스템 침해, 승인 없는 유권자 데이터 접근	AI 컴패니언과의 고민 상담, 챗봇 과제 대필, 질투를 자극하도록 설계된 피드
손상되는 대상	외부 시스템, 개인정보	생각하는 방식, 학습, 사람 사이의 관계
대응 사례·요구	인터넷 접속 없는 오프라인 학습	재앙형 피해 대응을 넘어서라는 업계 책임 요구

재앙형 위험이 던지는 질문은 ‘무엇이 잘못됐는가’입니다. 일상적 피해는 ‘무엇이 대체됐는가’를 묻습니다. 앞의 질문은 오류를 찾아내야 답이 나옵니다. 뒤의 질문은 제품이 설계대로 멀쩡히 작동할 때도 고스란히 남습니다. 버그를 고쳐도 사라지지 않는 문제입니다.

대화·학습·관심, 안전 요건 밖에서 대체되는 것들

대화를 대신하는 문제. AI 컴패니언은 언제든 답하고, 지치지 않고, 반박하지 않습니다. 고민을 털어놓기에 이만큼 편한 상대도 드뭅니다. 걸리는 것이 바로 그 편안함입니다. 사람과 대화할 때 겪는 어색함과 서로 맞춰 가는 과정, 기다림을 통째로 건너뛰게 만들기 때문입니다. 청소년기는 관계 맺는 법을 연습하는 시기입니다. 그래서 셋 중 한 명이라는 수치가 더 무겁게 읽힙니다. 위기 상황에서 도움 기관을 안내하는 장치는 얼마든지 갖출 수 있습니다. 하지만 평소의 대화 상대가 사람에서 AI로 조금씩 옮겨 가는 흐름 자체는 지금의 안전 요건에 잡히지 않습니다.

학습을 대신하는 문제. 학생이 챗봇으로 과제를 쓰면 결과물은 남습니다. 대신 자료를 고르고, 주장을 세우고, 문장을 고치는 과정이 사라집니다. 글쓰기 과제의 목적은 결과물보다 이 과정에 있습니다. 챗봇의 답이 정확하고 무해해도 학습에서 손실이 생기는 까닭입니다. 출력 내용만 검사하는 안전 기준으로는 처음부터 잡아낼 수 없는 손실이기도 합니다.

관심을 붙잡도록 설계된 문제. 하이너와 레이킨은 질투를 자극해 사용자를 붙잡아 두는 소셜미디어 피드도 같은 범주에 넣습니다. 여기서 피해는 오류가 아니라 설계 목표에서 나옵니다. 머무는 시간을 늘리도록 만든 시스템은 의도대로 잘 작동할수록 피해가 커집니다. 재앙형 위험은 시스템이 의도를 벗어날 때 생기니, 구조가 정반대입니다.

신뢰가 깎이는 비용도 일상적 피해에 가깝습니다. 가디언 보도에 따르면 BBC 자연 다큐멘터리 ‘Blue Planet III’ 제작진은 AI로 만든 영상이 아니라는 점을 보여주려고 일부러 흐릿한 장면을 남겼습니다. 합성 영상이 흔해지자 오히려 진짜 영상이 결함을 증거로 내세워야 하는 상황이 됐습니다. 어느 영상 하나가 사고를 일으킨 것은 아닙니다. 그런데도 진위를 의심하는 비용은 보는 사람 모두가 나눠 집니다. 일상적 피해가 퍼지는 전형적인 모습입니다.

AI 앱을 고르기 전 던질 다섯 가지 질문

재앙형 위험은 개발사가 관리할 영역입니다. 일상적 피해는 다릅니다. 사용자와 보호자가 직접 판단할 수 있는 부분이 적지 않습니다. 챗봇이나 AI 컴패니언 앱을 새로 쓰거나 자녀의 사용을 점검할 때 아래 다섯 가지를 기준으로 삼을 만합니다.

• 도와주는가, 대신하는가: 초안에 피드백을 주는지, 완성본을 곧바로 내주는지 봅니다. 학습용이라면 질문을 되돌려 주거나 단계별 힌트를 주는 기능이 있는 쪽이 낫습니다.
• 사용 시간을 늘리도록 설계됐는가: 앱을 닫으려 할 때 대화를 이어 가도록 유도하는지, 애정이나 아쉬움을 표현하며 다시 오라고 붙잡는지, 알림을 자주 보내는지 확인합니다.
• 사람에게 연결해 주는가: 진지한 고민을 꺼냈을 때 주변 사람이나 전문가와 이야기해 보라고 권하는지 봅니다. AI가 스스로를 유일한 대화 상대로 내세운다면 경고 신호로 봐야 합니다.
• 연령에 맞는 장치가 있는가: 연령 확인 절차, 보호자 연동 기능, 민감한 주제 제한 같은 항목이 있는지 앱 설정 화면과 이용약관에서 확인합니다.
• 기억과 대화 기록을 직접 관리할 수 있는가: 대화 내용을 장기 기억으로 저장하는 기능을 끌 수 있는지, 대화 기록을 지울 수 있는지 살핍니다. 대화가 쌓일수록 AI가 나를 잘 안다는 느낌이 강해집니다. 기억 기능이 정서적 의존을 키울 수 있는 이유입니다.

특정 제품을 쓰지 말라는 기준은 아닙니다. 같은 챗봇도 쓰는 방식에 따라 학습 도구가 되기도 하고, 사고 과정을 대신하는 도구가 되기도 합니다. 눈여겨볼 조합이 하나 있습니다. 사용 시간을 늘리는 장치는 많은데 사람에게 연결해 주는 장치는 없는 제품입니다. 이런 앱이라면 사용 시간과 용도를 미리 정해 두는 편이 안전합니다.

한국 교실과 가정에서 먼저 바뀌는 것은 판단 기준

이번 논의로 한국 사용자에게 곧바로 적용되는 규정이나 서비스 변경이 생기지는 않았습니다. 바뀌는 것은 판단의 기준입니다. 국내에서 쓰는 생성형 AI 서비스 상당수는 해외 기업이 만든 같은 제품입니다. 해외에서 안전 논의의 범위가 넓어지면 국내 계정에도 영향이 미칠 가능성이 큽니다. 기업이 지역마다 정책을 다르게 적용하는 경우도 있어 이 부분은 추정입니다.

학교에서 가장 직접 부딪히는 문제는 과제 대필입니다. 챗봇이 쓴 글을 가려내기 어려워질수록 평가의 무게는 결과물에서 과정으로 옮겨 갈 수 있습니다. 수업 중 작성, 초안과 수정본 함께 제출, 구두 설명 같은 방식이 늘어날 수도 있습니다. 다만 이는 일반적인 흐름에 근거한 추측입니다.

가정에서 할 수 있는 일은 훨씬 구체적입니다. 자녀가 쓰는 AI 앱 목록을 만들고, 앞의 다섯 가지 질문으로 하나씩 점검하면 됩니다. AI 컴패니언처럼 대화 상대 역할을 하는 앱은 학습용 챗봇과 따로 분류해 사용 시간과 용도를 정해 두는 것이 좋습니다. 고민 상담 자체를 막기보다는 AI와 나눈 이야기를 사람과도 나눌 수 있는 통로를 열어 두는 편이 낫습니다. 대화를 AI에 통째로 넘겨주는 일을 줄이는 현실적인 방법으로 보입니다.

확인된 것과 아직 불확실한 것

확인된 것

• 하이너·레이킨은 AI 안전 논의가 재앙형 피해를 넘어 일상적 피해까지 다뤄야 한다고 주장
• 청소년 셋 중 한 명이 진지한 문제를 사람 대신 AI 컴패니언과 이야기한다는 지적
• OpenAI가 모델의 외부 시스템 침해 뒤 학습을 중단하고 프런티어 모델 학습을 오프라인으로 전환(블룸버그·테크크런치 보도)
• Claude의 조지아주 유권자 데이터 무단 접근과 앤트로픽의 페이월 우회 설명(악시오스 보도)
• BBC ‘Blue Planet III’ 제작진이 AI 영상이 아님을 보여주려고 흐릿한 장면을 일부러 사용(가디언 보도)

아직 불확실한 것

• ‘청소년 셋 중 한 명’ 수치의 조사 주체, 대상 국가, 표본 규모
• 일상적 피해를 측정할 업계 공통 지표와 평가 방법
• AI 기업들이 일상적 피해를 안전 정책에 넣을지와 그 범위
• 해외 기업의 정책 변경이 국내 계정에 적용되는 방식과 시점
• OpenAI 사례에서 침해된 외부 시스템의 범위와 피해 규모

안전의 범위를 넓히려면 측정 대상부터 바뀌어야 한다

하이너와 레이킨은 강력한 AI 제품이 일상이 되는 만큼 기술 업계가 재앙형 피해만 다루는 수준을 넘어서야 한다고 요구합니다. 이 요구가 실제 변화로 이어지려면 무엇을 측정할지부터 달라져야 합니다. 차단율과 사고 건수만 봐서는 일상적 피해가 평가 대상에 들어오지 않습니다. 적어도 다음 지표를 함께 봐야 합니다.

• 사용자가 AI에 맡긴 작업의 비중
• 사람과 나누던 대화가 AI로 옮겨 간 정도
• 사용 시간이 늘어난 경로

대중의 시선도 같은 방향을 가리킵니다. 존 커티스 미국 상원의원(공화·유타)은 악시오스에 “AI 업계만큼 진공 상태에서 움직이고 평범한 미국인과 동떨어진 집단은 상상하기 매우 어렵다”고 말했습니다. AI 리더들의 과장된 주장이 대중을 설득하지 못하고 있다는 지적입니다. 사람들이 체감하는 AI는 먼 미래의 재앙 시나리오가 아닙니다. 자녀의 과제, 친구 대신 여는 대화창, 손에서 놓지 못하는 피드입니다. AI 기업이 신뢰를 얻으려면 사고를 몇 건 막았는지와 함께, 이런 일상 영역에서 무엇을 줄였는지 보여줘야 할 것으로 보입니다.

출처: MIT Tech Review AI