드론이 스스로 목표를 추적하고, AI가 공격 시점을 결정한다. 과거 SF 영화 속 장면이 이미 실제 전장에서 벌어지고 있다. 문제는 그 과정에서 인간이 어디쯤 서 있느냐다.
군사 AI, 보조에서 핵심으로
군사 분야에서 AI는 더 이상 보조 도구가 아니다. 정찰 위성과 드론이 수집한 방대한 데이터를 실시간으로 분석하고, 적의 이동 경로를 예측하며, 위협 요소를 식별하고, 공격 지점을 추천하는 수준을 넘어섰다. 일부 시스템은 목표물 식별-추적-발사 여부 결정까지 자율적으로 처리한다. 인간의 인지 부하를 줄이고 반응 속도를 극대화하겠다는 군사 전략의 산물이다.
- 정보 분석 및 예측: 대량의 첩보 데이터를 AI가 분석해 전술적 통찰 제공
- 자율 무기 시스템: 특정 임무를 부여받으면 스스로 목표물을 탐지하고 공격하는 능력
- 작전 지휘 및 통제: AI가 여러 무기 시스템을 통합 지휘하며 최적의 작전 수행
전력 증강 효과는 분명하다. 그런데 그게 다일까. 통제 불능의 위험이라는 질문도 동시에 따라온다. AI의 판단이 잘못됐을 때 책임은 누가 지나.
‘인간 개입’의 세 가지 얼굴
자율 무기 시스템 논의에서 항상 등장하는 개념이 ‘인간 개입’이다. 크게 셋으로 나뉜다.
- Human-in-the-Loop (HITL): AI가 공격 결정을 내리기 전 반드시 인간의 승인을 받아야 하는 구조다. 인간이 방아쇠를 쥔다는 점에서 가장 엄격한 통제 방식이다. 윤리적 판단이 개입될 여지가 가장 크다.
- Human-on-the-Loop (HOTL): AI가 자율적으로 결정하되, 인간이 그 과정을 감독하고 중단시킬 수 있는 방식이다. AI 먼저, 인간은 필요하면 개입. 현대전의 속도에 맞춰 HITL의 대안으로 자주 거론된다.
- Human-out-of-the-Loop (HOOTL): AI가 처음부터 끝까지 완전 자율로 움직인다. 탐지, 결정, 실행 전부. 이른바 ‘킬러로봇’ 논쟁의 핵심이며, 가장 많은 윤리적·법적 문제를 안고 있다.
국제사회에서는 HITL, 즉 ‘의미 있는 인간 통제(Meaningful Human Control)’를 강조하는 목소리가 높다. 자율 무기 개발과 배치에 신중해야 한다는 거다.
인간이 개입해야 하는 이유, 그리고 그 무게
인간 개입의 필요성은 기술 문제가 아니다. 핵심은 윤리적·법적 책임 소재다. AI 자율 무기가 민간인을 오폭하거나 국제법을 어기는 결정을 내렸을 때, 책임은 누구에게 가나. 개발자? 운용자? 지휘관? AI 시스템 자체? 명확한 답이 없다면 무법지대가 열린다.
- 책임 소재의 불분명함: AI의 오작동이나 잘못된 판단으로 피해가 생겼을 때 법적 책임을 물을 주체가 모호해진다.
- 전쟁 윤리 및 인도주의 위반: 공감 능력이 없는 AI가 전투원과 민간인을 구별하고, 비례의 원칙을 지키며 결정을 내릴 수 있을지는 여전히 의문이다. 국제 인도주의법 준수에 대한 우려가 크다.
- 전쟁 확산 위험: AI의 빠른 의사결정은 국지전을 전면전으로 순식간에 번지게 만들 여지가 있다. 인간의 신중한 판단과 외교적 개입이 끼어들 틈을 남기지 않는다.
이런 이유로 많은 국제법 전문가와 시민단체가 AI 자율 무기 전면 금지, 최소한 강력한 규제를 요구하고 있다.
‘인간 개입’은 사실상 환상일 수 있다
중요성에는 다들 고개를 끄덕인다. 현실은 다르다. MIT 테크놀로지 리뷰가 전한 바에 따르면, AI 전쟁에서 ‘인간 개입’은 실질적으로 환상에 불과하다는 지적이 나온다. 불편한 얘기지만, 틀린 말도 아니다.
- AI의 속도와 인간의 인지 능력 한계: 초당 수만 개의 데이터를 처리하는 AI를 인간이 따라잡기는 어렵다. 몇 초 안에 결정을 내려야 하는 전장에서 AI의 모든 판단을 검토하고 승인하는 건 현실성이 없다.
- 정보 과부하와 의존성: AI가 쏟아내는 방대한 정보를 인간이 전부 소화하기란 불가능에 가깝다. 결국 AI의 판단에 점점 더 의존하게 된다. AI가 틀렸을 때 인간이 인지하지 못하거나, 개입 타이밍을 놓치는 결과로 이어진다.
- ‘블랙박스’ 문제: 복잡한 딥러닝 AI의 의사결정 과정은 인간이 완전히 이해하기 어렵다. AI가 왜 그 결정을 내렸는지 설명이 안 될 때가 많다. 투명성이 부족한 결정을 인간이 책임 있게 승인하는 건 앞뒤가 맞지 않는다.
- 전략적 압박: 한쪽은 인간 개입 원칙을 철저히 지키고, 다른 쪽은 완전 자율 AI를 굴린다면 결과는 뻔하다. 전술적 불이익을 감수하면서까지 원칙을 고수하기란 쉽지 않다. 이 압박이 쌓이면 ‘인간 개입’ 원칙은 서서히 무너진다.
이런 제약들을 고려하면, ‘인간 개입’이라는 이상적인 원칙을 실제 전장에 어떻게 적용하고 강제할 것인가는 아직 답이 없는 문제다.
국제사회, ‘킬러로봇’ 규제 논의의 현주소
우려가 커지면서 국제사회도 움직이고 있다. 유엔(UN)은 특정 재래식 무기 협약(CCW) 틀 안에서 ‘치명적 자율 무기 시스템(LAWS)’ 논의를 이어가고 있다. 단, 국가 간 이해관계가 엇갈리는 탓에 합의 도출은 쉽지 않다.
- 금지 주장: 독일, 오스트리아, 브라질 등은 AI 자율 무기 완전 금지를 촉구한다. 인간의 존엄성과 국제 인도주의법 준수를 위해 필요하다는 입장이다.
- 규제 주장: 미국, 영국 등 주요 군사 강국들은 완전 금지보다 ‘의미 있는 인간 통제’를 전제로 한 규제와 책임 있는 개발을 내세운다. 기술 혁신을 막아선 안 된다는 논리다.
- 개발 가속화: 중국, 러시아는 AI 군사 기술 개발에 적극적이다. 자국 안보 이익을 앞세워 국제 규제에 소극적인 태도를 취하고 있다.
기술 발전 속도, 각국의 안보 이익, 윤리적·인도주의적 가치. 이 셋이 맞부딪히는 복잡한 줄다리기가 계속되고 있다. 섣부른 규제는 기술 혁신을 막고, 반대로 규제 공백은 기술을 통제 범위 밖으로 밀어낸다. 어느 쪽도 간단한 선택이 아니다.
결국 인간의 역할을 다시 정의해야 한다
AI 킬러로봇의 등장은 전례 없는 도전이다. 기술 발전은 막을 수 없다. 그렇다고 손 놓고 있을 수도 없다. ‘인간 개입’이 방아쇠를 당기는 행위만을 의미하지 않는다면, 그 개념부터 다시 써야 한다.
- 사전 설계 단계에서의 윤리적 통제: AI 개발 초기부터 윤리적 가이드라인을 명확히 하고, 잠재적 위험을 줄이는 설계를 적용해야 한다.
- ‘의미 있는 인간 통제’의 재정의: 실시간 승인이 어렵다면, AI의 작동 원리와 임무 범위, 공격 목표 선정 기준에 대해 인간이 궁극적인 결정권과 책임을 지는 방향으로 통제 개념을 넓혀야 한다.
- 국제적 협력과 규범 마련: 특정 국가가 일방적으로 개발 경쟁을 벌이면 전 세계 안보 위협으로 이어진다. 투명한 개발과 책임 있는 사용을 위한 명확한 국제 규범이 시급하다.
AI가 전장의 효율을 높이는 건 맞다. 하지만 전쟁의 본질과 인간의 고뇌를 AI로 대체할 수는 없다. 기술의 가능성을 좇는 것과 인류의 보편적 가치를 지키는 것, 그 사이 어딘가에 답이 있을 것이다.
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.