- 신약 후보를 찾으려고 만든 AI 분자 생성기의 방향을 뒤집자 여섯 시간도 걸리지 않아 독성 물질 후보 4만 개가 나왔다. 2022년 콜라보레이션스 파마수티컬스 연구진이 보고한 결과다.
- 현재 방어막은 DNA 합성 주문 심사, 레드팀·블루팀 검토, 모델 자체의 거부 응답 세 겹으로 나뉘며 어느 것도 완전하지 않다.
- 전문가 사이에서도 위험 수준 평가는 갈린다. 도구의 한계를 강조하는 쪽과 5~10년 뒤를 준비해야 한다는 쪽이 같은 근거를 다르게 읽는다.
여섯 시간이 채 지나지 않았다. 인간 질병 치료제 후보를 찾으라고 설계된 AI 분자 생성기에서 독성을 피하도록 맞춰둔 설정을 반대 방향으로 돌렸더니, 그 안에 분자 4만 개가 쏟아졌다. 일부는 이미 알려진 신경작용제보다 더 강한 독성을 갖도록 설계된 구조였다. 2022년 콜라보레이션스 파마수티컬스 연구진이 공개한 실험이다. 연구진이 보고서에 남긴 문장은 이랬다. ‘지나치게 경각심을 부추기려는 것은 아니지만, 이것은 신약 개발 AI 분야 동료들에게 보내는 경고가 되어야 한다.’ 생물·화학 무기와 AI를 나란히 놓는 논의는 대개 이 지점에서 출발한다. 도구가 어느 날 악의를 갖게 된 게 아니라 애초에 같은 도구였다는 사실. 그게 근거다.
‘생물무기’라는 한 단어에 최소 세 가지가 섞여 있다
생물무기는 하나의 물건이 아니다. 보안 연구자들이 상정하는 형태는 적어도 세 갈래로 갈린다. 유전적 특징에 따라 특정 집단을 겨냥하는 고치사율 바이러스가 첫째다. 둘째는 사람이 아니라 작물을 노리는 곰팡이. 사람을 직접 해치지 않으면서 식량 불안을 만들어내는 경로다. 셋째는 맛도 냄새도 없어 수질 검사에 걸리지 않은 채 특정 지역 상수원에 섞일 수 있는 독소다.
구분을 짚는 이유는 대응 지점이 서로 겹치지 않기 때문이다. 병원체는 감염병 감시망과 백신 인프라의 문제다. 작물 곰팡이는 농업 방역의 영역이고, 독소는 해독제 비축과 상수도 모니터링의 영역이다. 셋을 ‘AI 생물무기’라는 한 덩어리로 묶어 논의하면 어느 방어 예산을 먼저 늘려야 하는지에 대한 판단부터 흐려진다. 함부르크대학교의 생물보안 연구자 두냐 사브라가 국가 차원의 대비책으로 의료 시스템 강화, 알려진 독소에 대한 해독제 준비, 의약품 비축을 나란히 언급한 것도 위협 유형마다 필요한 준비물이 다르기 때문으로 읽힌다. 다만 이 연결은 해석이다. 원문은 세 가지 대비책을 열거했을 뿐, 그 배치의 이유까지 설명하지는 않았다.
낮아진 것은 지식 장벽, 버티고 있는 것은 실험 장벽
AI가 실제로 무엇을 바꿨는지는 두 층으로 갈라서 봐야 한다. 내려앉은 쪽은 지식 장벽이다. 사브라의 표현을 그대로 옮기면 대형 언어 모델은 ‘이 행성에 살았던 거의 모든 과학자의 지식과 경험’으로 학습됐고, 그 모델에 접근하는 데 자격 심사는 없다. 이 모델들은 질문에 답하는 선에서 멈추지 않는다. 실험을 어떻게 수행하는지에 대한 절차 설명과 영상 형태의 훈련 자료까지 내놓는다. 과거에는 특정 분야 박사과정을 통과해야 손에 넣던 암묵지의 상당 부분이 대화창 안으로 들어왔다는 뜻이다.
여기에 생명공학 쪽 변화가 포개진다. 유전자 편집과 합성생물학 도구의 접근성이 크게 올라갔고, 이른바 ‘DIY 생물학’ 운동을 통해 집에 실험실을 차린 사람도 이미 적지 않다. 사브라가 ‘작정한 사람이라면 결국 성공할 가능성이 있다’고 말한 것은 이 두 흐름이 겹친 상태를 가리킨다.
반대편은 그대로다. 실험 장벽 이야기다. 임페리얼칼리지 런던의 생물학자들은 AI 도구가 생물무기를 온전히 개발할 만큼 좋지는 않으며, 새 병원체를 검증하는 일에는 여전히 어렵고 시간이 오래 걸리는 사람의 손작업이 필요하다고 주장했다. 설계도를 얻는 일과 작동하는 병원체를 손에 쥐는 일 사이에는 배양, 계대, 동물 실험, 안정성 확인 같은 물리적 공정이 줄줄이 놓여 있다. 위험 평가가 엇갈리는 지점도 정확히 여기다. 지식 장벽이 무너진 속도에 무게를 두느냐, 실험 장벽이 아직 서 있다는 점에 무게를 두느냐. 같은 자료를 읽고도 결론이 달라지는 이유는 이 한 줄로 거의 설명된다.
방어막은 세 겹이고, 각각 다른 지점에서 작동한다
현재 작동 중인 안전장치는 단일한 규제가 아니다. 서로 다른 단계에 걸친 세 겹이고, 어느 한 겹이 뚫려도 다음 겹이 남도록 설계된 구조다. 원문에 인용된 전문가들은 공통적으로 어느 것도 철벽은 아니라고 평가한다.
| 방어 장치 | 작동 지점 | 알려진 한계 |
|---|---|---|
| DNA 합성 주문 심사 | 새 게놈을 만들려면 DNA 조각을 업체에 주문해야 하고, 업체가 의심스러운 주문을 걸러낸다 | 심사 기준을 우회하는 방법을 AI가 잘 찾아낸다는 지적이 있다 |
| 레드팀 | 연구 단계에서 독립적인 과학자들이 그 연구가 악용될 경로를 찾는다 | 책임 있는 연구자가 자발적으로 거칠 때만 작동한다 |
| 블루팀 | 레드팀이 찾아낸 경로에 대한 완화책을 다른 연구자들이 제시한다 | 레드팀 단계를 건너뛴 연구에는 적용되지 않는다 |
| 모델 측 거부 응답 | AI 기업이 악용 가능한 과학 정보를 내놓지 않도록 도구를 조정한다 | 조정과 우회의 반복이 계속되며 완전하지 않다 |
표를 위에서 아래로 훑으면 한 가지가 눈에 걸린다. 법적 강제력이 붙은 칸이 하나도 없다는 점이다. 업체 심사는 주문이 업체를 거칠 때 작동하고, 레드팀·블루팀은 연구자가 자발적으로 문을 열 때 작동하며, 모델 조정은 기업의 내부 정책이다. 스탠퍼드대학교 의학·생명의료윤리 교수 데이비드 매그너스는 이 상태를 ‘끊임없는 주고받기’라고 표현했다. 더 나은 감시·선별 도구를 만들어야 하는데 AI가 그 도구를 우회하는 방법을 잘 찾아낸다는 것이다. 그는 결국 AI 사용을 제한할 방법을 찾는 데에도 AI를 써야 할 것으로 본다고 말했다. 1990년대 후반부터 의학·생명공학 오남용 위험을 평가해온 연구자가 2022년 분자 생성기 실험을 보고 ‘매우 무서웠다’고 말한 대목은, 이 분야 내부의 체감 온도가 언제 올라갔는지를 보여주는 기록으로 읽을 만하다.
개발사 내부 경고와 실제 악용 시도 기록이 겹친 자리
위험 논의에 무게가 실린 배경에는 AI 기업 내부에서 나온 발언들이 있다. 앤스로픽 CEO 다리오 아모데이는 AI에 심각한 위험이 있으며 진전 속도를 늦춰야 한다고 주장했다. 오픈AI CEO 샘 올트먼은 X에서 ‘프런티어의 속도를 조절해야 한다는 다리오의 말에 동의한다’고 답했다. 앤스로픽을 떠난 AI 연구자 제이콥 콕슨은 앤스로픽도 오픈AI도 책임 있게 행동하고 있지 않다고 비판하며 ‘AI를 만드는 사람들은 그것이 이번 10년 안에 우리 모두를 죽일 수 있다고 진심으로 믿는다’고 적었다. 같은 회사의 에번 허빙어는 여기에 공개적으로 동의하면서, 개인적으로 향후 10년 내 확률을 10% 이상으로 본다고 밝혔다.
추상적 경고만 쌓인 것은 아니다. 앤스로픽은 보고서에서 자사 모델을 상대로 치쿤구니야 바이러스의 전파력을 높이는 방법, 사람에게 더 위험한 형태의 조류독감을 만드는 방법, ‘독소 펩타이드 아틀라스’ 구축 등을 탐색하려는 시도가 있었다고 인정했다. MIT 생물학자 케빈 에스벨트는 한 대형 언어 모델이 ‘내가 가능하다고 생각하지 못했던 새로운 형태의 생물무기를 알려줬다’고 밝히며 신중한 쪽으로 판단을 기울이자고 했다. 에스벨트가 어떤 연구자인지는 이 발언의 무게를 재는 데 참고가 된다. 유전적 형질을 개체군 전체에 빠르게 퍼뜨리는 기술과, 그 기술을 제한하는 방법을 함께 개발한 사람이다. 위험을 경고하는 쪽이 방어 기술도 같이 만들어온 이력이라는 맥락이다.
같은 자료, 다른 결론 — 갈리는 건 시간 축이다
같은 자료를 놓고 결론이 갈린다면 어느 쪽 가정이 다른지를 보는 편이 빠르다. 임페리얼칼리지 연구자들은 현재 도구의 성능 한계와 실험의 물리적 난이도를 기준으로 삼는다. 현재의 가드레일이 충분하다고 보는 시각도 여기에 붙는다. 임페리얼의 감염병 교수 웬디 바클리는 지금 시점에서 팬데믹의 가장 큰 위험은 생물무기가 아니라 이미 돌고 있는 병원체라고 지적했다. 근거로 제시된 것이 H5N1 조류독감이다. 수백만 마리의 새를 죽이고 미국 젖소 농장으로 널리 퍼진 이 바이러스는 유타주 농장의 사육 밍크에서도 검출됐다.
사브라는 5~10년 앞을 기준선에 놓는다. 시간 축을 어디에 세우느냐에 따라 같은 사실이 ‘아직 아니다’가 되기도 하고 ‘준비할 시간이 얼마 없다’가 되기도 한다. 두 진술은 충돌하지 않는다. 당장의 방역 예산은 순환 병원체 쪽에 우선순위를 주고, 장기 대비는 도구 접근성 변화를 반영하는 조합이 양쪽 근거 모두와 들어맞는다. 어느 한쪽 인용문만 떼어내 ‘전문가들은 안전하다고 본다’ 또는 ‘전문가들은 임박했다고 본다’로 요약한 기사를 만난다면, 그 전문가가 몇 년 뒤를 말하고 있었는지부터 확인하는 게 낫다.
국내 연구자와 바이오 기업이 체감할 지점
체감되는 변화는 두 곳으로 좁혀진다. 주문 단계, 그리고 모델 응답 단계다. DNA 조각을 합성 업체에 주문하는 과정에서 의심 주문 선별이 이뤄진다는 점은 원문이 밝힌 국제적 관행이다. 다만 국내 연구기관이 이용하는 개별 업체의 심사 기준, 적용 범위, 국내 법령상 신고 의무가 어떻게 규정돼 있는지는 원문에 없다. 이 대목은 소속 기관의 생물안전위원회와 거래 업체의 주문 심사 정책을 직접 확인해야 하는 영역이다. 기사로 대신할 수 있는 부분이 아니다.
모델 응답 쪽은 정상적인 연구 질의가 함께 차단되는 방향으로 영향을 받을 가능성이 있다. AI 기업들이 악용 가능한 과학 정보를 내놓지 않도록 도구를 조정해왔다는 사실은 원문에 있지만, 그 조정이 병원체·독성학·백신 연구 질의에 실제로 어느 정도 영향을 주는지는 확인된 수치가 없다. 이 문장은 추측이다. 근거를 대자면, 우회를 막는 조정이 반복될수록 경계선 근처의 정상 질의가 함께 걸리는 경향이 일반적이기 때문이다. 연구 목적 질의가 거부된다면 기관 계정이나 연구용 접근 경로가 별도로 제공되는지를 확인하는 편이, 우회 문구를 찾아 헤매는 것보다 빠르고 뒤탈도 없다.
생활 영역으로 오면 순환 병원체 쪽이 훨씬 직접적이다. H5N1이 가금류에서 미국 젖소, 사육 밍크까지 넘어간 경로는 국내 가금·축산 방역과 성격이 같은 문제다. 국내 발생 현황과 방역 조치는 이 원문의 범위 밖이므로, 농림축산검역본부와 질병관리청 공지를 기준으로 확인해야 한다.
확인된 것과 아직 불확실한 것
원문으로 확인된 사실
- 2022년 콜라보레이션스 파마수티컬스 연구진이 신약 탐색용 AI 분자 생성기로 여섯 시간 이내에 화학전 작용제 후보 4만 개를 생성했고, 일부는 알려진 신경작용제보다 독성이 강하도록 설계됐다.
- 앤스로픽은 보고서에서 치쿤구니야 바이러스 전파력 증대, 사람에게 더 위험한 조류독감 형태 제작, 독소 펩타이드 아틀라스 구축 등을 탐색하려는 시도가 있었다고 인정했다.
- DNA 합성 주문 심사, 레드팀, 블루팀, 모델 측 조정이 안전장치로 존재하지만 어느 것도 완전하지 않다.
- 에번 허빙어는 향후 10년 내 AI가 인류를 멸종시킬 확률을 개인적으로 10% 이상으로 본다고 밝혔다.
- 웬디 바클리는 현 시점 팬데믹 최대 위험이 생물무기가 아니라 순환 중인 병원체라고 지적했다.
아직 확정되지 않은 것
- AI 도구가 실제로 생물무기를 완성 단계까지 끌고 갈 수 있는지에 대해 전문가 합의가 없다. 임페리얼칼리지 쪽은 부정적으로 본다.
- 현재의 가드레일이 충분한지에 대한 판단이 갈린다.
- DNA 합성 업체별 심사 기준의 구체적 내용과 국가별 적용 범위는 공개된 정보 범위 밖이다.
- 국내 규제 체계가 이 논의를 어떻게 반영하고 있는지는 이 자료만으로 판단할 수 없다.
연구 현장에서 당장 손댈 수 있는 세 가지
순서는 비교적 분명하다. 첫째, 자신이 수행하는 연구가 레드팀·블루팀 검토 대상인지 판단하는 기준을 기관 차원에서 문서로 만드는 일이다. 이 절차는 강제 규정이 아니라 책임 있는 연구자가 자발적으로 거치는 과정이고, 그래서 개인 판단에 맡겨두면 조용히 누락된다. 둘째, DNA 합성 주문 경로를 기관 단위로 일원화해 어떤 서열이 어디로 주문됐는지 기록이 남게 하는 일이다. 업체 심사는 주문이 업체를 거칠 때만 작동한다. 개인 계정으로 흩어진 주문은 표의 첫 칸을 그냥 비껴간다. 셋째, 모델을 실험 절차 참고용으로 쓸 때 출력을 그대로 신뢰하지 않고 원 논문과 대조하는 습관이다. 에스벨트의 사례가 보여주듯 모델은 전문가도 몰랐던 조합을 제시하는데, 이는 검증되지 않은 조합을 그럴듯하게 제시하는 성질과 같은 뿌리에서 나온다.
매그너스가 말한 ‘주고받기’는 한쪽이 이기고 끝나는 구조가 아니다. 감시·선별 도구를 개선하면 우회 방법이 나오고, 다시 도구를 고치는 반복이다. 이 구조에서 개인이 쥔 변수는 셋뿐이다. 자신의 연구, 주문 기록, 출력물 검증 절차. 나머지는 업체와 규제 기관, 모델 개발사의 손에 있다. 어느 쪽 전망이 맞는지 아직 판단이 서지 않는 상태여도 앞의 세 항목은 비용이 낮고 되돌릴 수 있는 조치라는 점에서, 논쟁의 결론을 기다리기 전에 먼저 손대볼 만하다.
