[태그:] 이중 용도

신약 후보 물질을 찾으라고 만든 AI 분자 생성기가 여섯 시간이 채 지나기 전에 화학전 작용제로 쓰일 만한 분자 4만 개를 쏟아냈습니다. 연구진을 서늘하게 만든 건 숫자가 아니었어요. 그 과정이 어처구니없을 만큼 쉬웠다는 것.

‘AI가 인류를 멸망시킬까’ 같은 문장은 아무래도 영화 대사처럼 들리죠. 그런데 논쟁을 실제로 열어 보면 로봇 반란 같은 장면은 거의 나오지 않습니다. 대신 훨씬 손에 잡히는 걱정들이 남아요. 생물무기와 화학무기 악용이 그 대표 격입니다. 아래에서는 이 논쟁이 어떤 질문들로 이뤄져 있는지, 생물무기 시나리오가 왜 매번 소환되는지, 이런 뉴스를 어떤 잣대로 읽으면 덜 흔들리는지를 차례로 짚습니다.

‘멸종 위험’이라는 한 단어에 질문 네 개가 섞여 있다

MIT 테크놀로지 리뷰가 ‘AI가 정말 우리 모두를 죽일 수 있을까’를 놓고 라운드테이블을 열었어요. 준비한 시간보다 참석자 질문이 더 많았고, 결국 편집진이 행사 뒤에 따로 답변을 정리했습니다. 거기 모인 질문을 늘어놓으면 논쟁의 뼈대가 꽤 선명하게 보입니다. 크게 네 갈래예요.

질문	실제로 묻는 것	판단할 때 볼 근거
나는 죽게 되나?	개인에게 닥칠 위험의 크기와 가능성	구체적인 피해 경로가 있는지, 그 경로가 현실에서 실행 가능한지
AI가 왜 인류를 해치나?	피해가 생기는 메커니즘	AI의 자율적 행동을 전제하는지, 사람의 악용을 전제하는지
진짜 위험인가, 기업 홍보인가?	경고를 내는 쪽의 동기와 신뢰성	주장하는 쪽의 이해관계, 실험·연구로 뒷받침되는지
어떻게 통제·감시·규제하나?	대응 수단의 종류와 효과	모델 단계·사용 단계·제도 단계 중 어디에 장치를 거는지

표를 보면 알겠지만 ‘멸종 위험’이라는 한마디 안에 성격이 전혀 다른 질문이 뒤섞여 있습니다. 갈림길은 두 번째 질문이에요. AI가 스스로 해로운 목표를 좇는 시나리오와, 사람이 AI를 연장 삼아 대량 피해를 내는 시나리오는 대응법부터 다릅니다. 앞쪽은 모델을 어떻게 길들일 것인가의 문제고, 뒤쪽은 누가 무엇에 접근하게 둘 것인가의 문제니까요. 생물무기 이야기는 뒤쪽에 속합니다. 그리고 실험으로 확인된 사례가 하나 있다는 점에서, 논의가 상대적으로 구체적인 편이고요.

좋은 목적으로 만든 모델이 반나절도 안 돼 4만 개를 뽑았다

앞에서 말한 실험의 핵심은 숫자가 아니라 출신이에요. 그 도구는 원래 약을 찾으라고 만든 모델입니다. 약이 될 만한 화합물 구조를 빠르게 제안하도록 훈련된 모델이, 여섯 시간이 채 안 되는 동안 화학전 작용제로 쓰일 만한 분자 4만 개를 설계했습니다.

이런 성질에 붙은 이름이 ‘이중 용도(dual-use)’입니다. 어떤 분자가 몸에 어떤 영향을 주는지 잘 맞히는 능력은, 화살표 방향만 뒤집으면 해로운 분자를 잘 찾아내는 능력이 되거든요. 약과 독을 가르는 건 물질 자체가 아니라 용량과 표적이라는 약리학의 오래된 명제가, 모델에도 똑같이 걸린다는 뜻이죠.

이 사례가 어디서든 인용되는 이유는 두 가지로 보입니다. 하나는 속도. 사람이 후보를 하나씩 뒤졌다면 한참 걸렸을 작업이 반나절도 안 되는 시간에 끝났으니, 문턱이 내려갔다는 인상을 주기에 충분합니다. 다른 하나는 의도예요. 무기 전용 AI를 따로 개발한 사람은 아무도 없었다는 점. 이미 연구실에 있던 도구가 그대로 위험한 출력을 냈다는 사실이 불안의 진짜 진원지입니다.

그대로 받아들이기 전에 짚을 것도 두 가지 있어요. 우선 이건 엄밀히 말하면 생물무기가 아니라 화학무기 쪽 사례입니다. 그런데도 생물무기 논의마다 끌려 나오는 건, AI가 위험 물질의 ‘설계’를 거든다는 사실을 눈에 보이는 숫자로 내놨기 때문으로 보여요. 두 번째로, 실험이 만들어낸 건 후보 분자의 목록이지 무기가 아닙니다. 화면 속 구조식과 현실의 물질 사이에는 재료 확보, 합성 기술, 안전한 취급 같은 별개의 벽이 서 있어요. 이 간극을 얼마로 잡느냐에 따라 위험의 크기에 대한 결론도 갈립니다. 그 거리가 실제로 얼마나 좁혀졌는지는 원문에도 수치로 나오지 않습니다.

지식의 문턱과 도구의 문턱이 나란히 내려갔다

생물무기 우려가 커진 배경에는 흐름 두 개가 겹쳐 있어요.

첫째는 지식 쪽입니다. 요즘 AI 도구는 거의 모든 과학 분야의 질문에 답을 내놓습니다. 예전 같으면 전문 논문을 찾아 읽고 해석할 훈련이 있어야 겨우 닿던 지식에, 대화창 하나로 접근하게 됐다는 뜻이죠. 학생이나 연구자에게는 두말할 것 없이 좋은 일입니다. 문제는 같은 문이 악의를 가진 사용자 앞에도 똑같이 열려 있다는 점이고요.

둘째는 손에 쥐는 도구 쪽이에요. 유전자 편집과 합성생물학이 발전하면서 생명공학 도구 자체가 예전보다 가까워졌습니다. 지식의 문턱과 도구의 문턱이 같이 내려간 셈이죠. 둘을 합치면 과거보다 적은 전문성으로 위험한 병원체에 다가갈 여지가 생긴다는 게 우려의 논리 구조입니다. 원문 기사가 ‘살상 병원체를 설계하기가 그 어느 때보다 쉬워졌다’는 취지로 소개된 것도 같은 맥락이에요.

안전장치가 없는 건 아닙니다. AI 모델이 위험한 요청을 거절하도록 설계하거나, 민감한 도구의 사용 범위를 제한하는 방식이 흔히 거론되죠. 걸리는 지점은 그중 어느 것도 철벽은 아니라는 사실입니다. 안전장치가 있다는 말과 안전장치가 충분하다는 말은 전혀 다른 문장인데, 뉴스에서는 자주 하나로 뭉뚱그려집니다.

과학자들이 합의하지 못하는 세 지점

흥미로운 건 이렇게 근거가 쌓였는데도 위험이 얼마나 심각한지에 대해서는 과학자들 사이에 합의가 없다는 점이에요. 왜 갈리는지를 구조로 뜯어보면 쟁점이 대략 세 개 겹쳐 있습니다. 아래는 논쟁의 일반적인 구도를 정리한 것이지 특정 연구자의 주장을 옮긴 게 아니라는 점은 미리 말해둘게요.

• 설계와 제조 사이의 거리: AI가 설계를 거들어도 실제로 만드는 단계의 벽은 여전히 높다고 보는 쪽이 있고, 도구 접근성이 좋아진 만큼 그 벽도 같이 낮아졌다고 보는 쪽이 있습니다.
• AI 답변이 새로운가: AI가 내주는 정보가 공개 자료를 부지런히 뒤지면 원래 얻을 수 있던 수준인지, 아니면 흩어진 지식을 엮어 실제 역량을 한 단계 끌어올리는지에서 판단이 갈립니다.
• 안전장치의 실효성: 완벽하진 않아도 대부분의 시도를 막아낸다는 시각과, 한 번의 실패가 치명적인 영역에서 ‘대부분’은 합격점이 아니라는 시각이 부딪힙니다.

여기에 ‘AI 위험론, 결국 기술 기업 마케팅 아니냐’는 의심이 한 겹 더 얹힙니다. 자사 모델이 그만큼 강력하다는 인상을 심거나 규제 논의를 유리한 방향으로 끌고 가려는 계산이 깔려 있다는 시각이죠. 이 의심 역시 라운드테이블 참석자들이 실제로 던진 질문 가운데 하나였습니다. 경고를 내는 쪽이 누구고 어떤 이해관계를 갖는지 따지는 건 당연히 합리적인 태도예요. 다만 출처가 기업이라는 이유만으로 근거까지 통째로 버리면, 신약 AI 실험처럼 실험 결과로 남은 사례도 함께 버리게 됩니다. 동기를 의심하는 일과 데이터를 무시하는 일은 다른 작업이니까요.

국내 독자가 지금 챙길 것과 나중에 지켜볼 것

이 논쟁이 한국 사용자의 하루를 당장 바꿔놓는 부분은 거의 없습니다. 대신 서 있는 자리에 따라 챙겨둘 만한 건 있어요.

• 일반 사용자: 대화형 AI에 생물·화학 쪽 질문을 던졌다가 거절당하거나 원론적인 설명만 돌려받은 적 있을 겁니다. 대체로 앞에서 말한 안전장치가 작동한 결과로 이해하면 됩니다. 거절 기준이 무엇인지, 그 기준을 어디까지 공개하는지는 서비스와 모델마다 다릅니다.
• 생명과학 전공 학생·연구자: 분자 설계나 실험 설계에 AI 도구를 끌어 쓴다면, 소속 기관의 연구윤리·생물안전 규정이 AI 도구 사용을 어떻게 다루는지 한 번 확인해두는 게 좋아요. 기관마다 담당 부서 이름도 절차도 제각각이라, 연구지원 부서나 생물안전 담당 쪽에 직접 묻는 게 제일 빠릅니다.
• 바이오·AI 스타트업: 이중 용도 우려가 커질수록 해외 파트너나 투자사가 안전 관리 체계를 묻는 일이 늘어날 겁니다. 이건 추측이지만, 모델 접근 권한 관리나 사용 기록 보관 같은 기본기는 미리 갖춰두는 쪽이 유리해 보여요.
• 제도 측면: AI를 이용한 생물·화학무기 위험을 국내에서 구체적으로 어떻게 규율할지는 이 글이 근거로 삼은 자료의 범위 밖입니다. 단정하지 않을게요. 관련 부처의 공식 발표를 직접 확인하는 편이 정확합니다.

확인된 것과 아직 불확실한 것

확인된 것

• 신약 개발용으로 만든 AI 분자 생성기가 6시간이 채 안 돼 화학전 작용제로 쓰일 만한 분자 4만 개를 만들어낸 연구 결과가 있다.
• AI 도구는 거의 모든 과학 분야의 질문에 답을 내놓는다.
• 유전자 편집과 합성생물학의 발전으로 생명공학 도구의 접근성이 높아졌다.
• 관련 안전장치는 존재하지만 완벽한 것은 없다.
• MIT 테크놀로지 리뷰가 ‘AI가 우리 모두를 죽일 수 있나’를 주제로 행사를 열었고, 참석자들이 개인의 위험, 피해 메커니즘, 기업 홍보 의혹, 통제·규제 방법을 물었다.

아직 불확실한 것

• AI가 생물무기 위험을 실제로 얼마나 키우는지: 과학자들 사이에서도 의견이 갈린다.
• 화면 속 설계가 현실의 제조로 이어지는 장벽이 얼마나 낮아졌는지.
• AI 위험 경고 가운데 어디까지가 실질적 경고이고 어디부터가 홍보성인지.
• AI를 효과적으로 통제·감시·규제하는 방법에 대한 합의.
• 국내에서 이 위험을 다루는 구체적인 제도와 적용 방식.

AI 위험 뉴스는 ‘능력·접근성·안전장치’ 세 축으로 읽는다

‘AI 멸종 위험’은 단어가 너무 큽니다. 크면 읽는 사람이 두 방향으로 미끄러져요. 겁에 질리거나, ‘또 저 소리’ 하며 넘기거나. 둘 다 판단을 흐립니다. 생물무기 사례에서 뽑아낸 축 세 개로 뉴스를 쪼개보면 훨씬 차분하게 읽힙니다.

1. 능력: AI가 실제로 무엇을 해냈다고 확인됐나. 실험으로 나온 결과인지, 가능성에 대한 추정인지부터 가릅니다.
2. 접근성: 그 능력이 실제 피해로 이어지려면 어떤 도구·재료·기술이 더 필요하고, 누가 얼마나 쉽게 거기에 닿나.
3. 안전장치: 어떤 방어선이 걸려 있고, 그게 뚫렸을 때 피해 규모는 어디까지인가.

신약 AI 실험은 ‘능력’ 축에 분명한 근거를 하나 박았습니다. 유전자 편집과 합성생물학의 발전은 ‘접근성’ 축의 우려를 키웠고요. ‘안전장치’ 축은 장치가 있긴 하지만 철벽은 아니라는 선에서 멈춰 있습니다. 기사를 읽을 때 세 축 중 어디가 확인된 사실이고 어디가 추정인지만 갈라내도, 과장된 헤드라인과 새겨들을 경고를 구분하는 데 꽤 쓸모가 있어요. 4만이라는 숫자 자체가 무서운 게 아니라 그 숫자가 나오기까지 여섯 시간이 걸렸다는 쪽이 진짜 논점이라는 것도, 그렇게 보면 선명해집니다.

출처: MIT Tech Review AI