AI 거짓말탐지기, 센서 바꿔도 정답 데이터가 없다

혈압, 맥박, 호흡, 땀. 1920년대에 폴리그래프가 발명된 뒤로 거짓말탐지기가 기록하는 신호는 이 네 가지에서 거의 달라지지 않았어요. 검사관이 그래프를 읽고 판단하는 방식도 그대로고요. 미 국방부가 이 장비를 인공지능과 비접촉 센서로 현대화하겠다며 5년에 걸쳐 3,030만 달러를 요청했다는 예산 문서 내용이 MIT 테크놀로지 리뷰를 통해 알려졌어요. 결론부터 말하면, 센서를 몸에서 떼고 AI가 점수를 매겨도 가장 큰 구멍은 그대로예요. 어떤 검사가 실제로 맞았는지 알려줄 정답 데이터가 없다는 것. 그래서 이 글은 사업 소식보다 그 밑에 깔린 개념을 따라가요. 폴리그래프가 정확히 무엇을 재는지, AI가 거기에 무엇을 보태는지, 많은 연구자가 이 조합에 왜 고개를 젓는지를 차례로요.

폴리그래프가 재는 건 거짓말이 아니라 몸의 긴장

폴리그래프 원리는 한 단어로 줄일 수 있어요. 비교. 검사관은 “하늘은 파란색인가요?”처럼 답이 뻔한 기준 질문과 “범죄를 저지른 적이 있나요?” 같은 목표 질문을 섞어서 던져요. 두 종류 질문에 대한 생리 반응을 나란히 놓고, 목표 질문 쪽 반응이 유독 도드라지면 기만 가능성이 있다고 판단하는 식이에요.

오해가 자주 생기는 대목이 여기예요. 센서가 남기는 건 혈압이 올랐다, 호흡이 빨라졌다, 손에 땀이 났다는 ‘현상’뿐이에요. 그게 거짓말 때문인지, 억울해서 긴장한 건지, 질문 자체가 불쾌해서인지 센서는 가려내지 못해요. 해석은 결국 사람 몫. 검사관에 따라 결과가 크게 갈린다는 비판이 이 장비에 늘 따라붙는 것도 그래서예요.

미국 연방정부는 직원 심사 과정에서 해마다 수만 건의 폴리그래프 검사를 해요. 그런데 그 결과가 법정 증거로 받아들여지는 경우는 드물어요. 널리 쓰인다는 것과 과학적으로 검증됐다는 것이 전혀 다른 얘기라는 걸 이만큼 선명하게 보여주는 사례도 흔치 않죠.

Polygraph+가 보태는 것, 붙이지 않는 센서와 AI 점수

사업 이름은 Polygraph+, 혹은 Polygraph Next. 초점은 두 갈래예요. 하나는 인공지능·머신러닝 기반의 점수화 알고리즘이고, 다른 하나는 ‘스탠드오프 센싱(standoff sensing)’이라 불리는 비접촉 측정이에요. 스탠드오프 센싱은 몸에 벨트나 전극을 붙이지 않고 떨어진 곳에서 생리 신호를 읽어내는 기술을 말해요.

실제로 어떤 기술이 들어갈지는 아직 공개되지 않았어요. 단서는 있어요. 국방부 산하 DIU(Defense Innovation Unit)가 2023년 기만 탐지에 쓸 제품을 공개 모집해 두 회사를 시제품 개발사로 골랐거든요. Presage Technologies는 일반 카메라로 심박수와 호흡수를 잰다고 주장하는 회사예요. Altec Research는 의료용 센서 회사인데, 비접촉 센싱 쪽으로 영역을 넓히는 중이고요. DIU가 공개한 Altec 시제품 화면을 보면 머리 움직임, 얼굴 피부 온도, 모공 활동을 추적해요. 다만 이 시제품들이 Polygraph+로 곧장 이어진다는 확인은 없어요. 방향을 가늠하는 힌트 정도로 읽는 게 맞아 보여요.

AI가 맡는 역할은 ‘다중 모달(multi-modal)’ 점수화예요. 여러 측정값을 한데 묶어 기만 점수 하나로 뽑아내는 방식이죠. 로테르담 에라스뮈스 대학교에서 기만을 연구하는 소피 반 데르 제이 교수는 거짓말탐지가 노리는 수면 아래 현상을 셋으로 나눠요. 생리적 스트레스, 인지 부하, 그리고 거짓말을 숨기려는 의식적 노력. 기존 폴리그래프가 다루는 건 이 중 첫 번째뿐이니, 세 방향을 함께 볼수록 성공 가능성이 높아진다는 게 반 데르 제이 교수의 설명이에요.

개념 자체는 새롭지 않아요. 영상에서 기만 점수를 뽑는 시스템도, 국경 심사용 다중 센서 도구도 이미 나온 적이 있어요. 결말은 아래 표에 적힌 대로예요. 이 프로젝트들은 모두 조용히 사라졌어요.

정확도 80~94%, 280만 명에 돌리면 계산이 달라진다

미국폴리그래프협회가 내세우는 폴리그래프 정확도는 80~94%예요. 아무 도구 없이 사람이 거짓말을 알아맞히는 확률이 절반을 조금 넘는다는 연구와 나란히 놓으면 꽤 괜찮아 보이죠. 업계 단체가 내놓은 수치라는 점은 감안하고 읽어야 하고요. 더 큰 문제는 따로 있어요. 이 숫자는 ‘한 사람을 검사할 때’의 관점이에요. 많은 사람을 한꺼번에 걸러내는 스크리닝으로 넘어가면 얘기가 달라져요.

IT 쪽에서 쓰는 말로 바꾸면 기저율(base rate) 문제예요. 스팸 필터를 떠올리면 쉬워요. 정확도가 높은 필터라도 처리하는 메일이 많으면 잘못 걸러지는 정상 메일의 절대 개수가 불어나요. 찾으려는 대상이 전체에서 아주 드물면 ‘의심’ 판정 목록의 상당 부분이 오탐으로 채워지고요. 직원 전체에서 실제 내부 위협자는 극소수일 테니 구조가 똑같아요. 2003년 미국 국립연구위원회(NRC) 보고서가 짚은 것도 이 지점이에요. 이 정도 정확도의 검사라도 스크리닝에 쓰면 실수가 많이 나온다는 것. 국방부 인력은 280만 명이에요. 불완전한 시스템을 이 규모로 돌리면 수만 명이 억울하게 의심받는 결과로 이어진다는 우려가 나오는 배경이죠.

검증의 역사도 우호적이지 않아요. 1983년 미 의회 기술평가국(OTA)은 직원 심사용 폴리그래프를 뒷받침하는 근거가 매우 제한적이라고 결론 내렸어요. 20년 뒤인 2003년, NRC가 내린 평가는 효과에 대한 근거가 “기껏해야 약하다”였고요. 검사관마다 결과가 크게 다르다는 점, 소수 집단 출신이 기만 판정을 더 많이 받는 경향도 문제로 꼽혀요.

뚫는 방법도 알려져 있어요. 훈련을 받으면 기준 질문에서 일부러 반응을 키우는 요령을 익히게 돼요. 신발 속에 숨긴 핀을 밟아 통증으로 생리 반응을 끌어올리는 식이에요. 기준 질문 반응이 커지면 목표 질문과의 차이가 줄고, 판정은 흐려져요. 반 데르 제이 교수의 말을 빌리면 “작동 원리를 알면 이기는 방법도 안다”.

AI가 못 푸는 건 알고리즘이 아니라 정답 데이터

AI를 붙이자는 쪽의 논리는 두 가지예요. 사람 검사관이 놓치는 패턴을 데이터에서 찾아낼 가능성이 있다는 것, 그리고 여러 신호를 섞은 점수는 한두 가지 신호만 조작해서는 속이기 어렵다는 것. 앞에서 본 핀 밟기 같은 대응 기법을 떠올리면 두 번째 주장엔 나름 설득력이 있어요. 이론만 놓고 보면 틀린 말은 아니에요.

막히는 곳은 학습에 필요한 정답(ground truth)이에요. 지도학습 모델을 만들려면 ‘이 데이터는 거짓말, 저 데이터는 진실’이라는 라벨이 있어야 해요. 그런데 폴리그래프 기록에 붙은 라벨은 대부분 검사관의 판정이고, 그 판정이 맞았는지 확인할 방법이 마땅치 않아요. 법학자 마리온 오스왈드 교수는 세상의 모든 폴리그래프 기록을 모아도 그 검사들이 맞았는지 틀렸는지는 알 수 없다고 지적해요.

라벨이 흔들리면 모델이 배우는 건 ‘거짓말의 패턴’이 아니라 ‘검사관이 거짓말이라고 판단한 패턴’일 가능성이 커 보여요. 검사관의 편향도, 앞에서 본 소수 집단 판정 쏠림도 고스란히 학습될 위험이 있다는 뜻이에요. 영국 노섬브리아 대학교에서 사법 절차의 폴리그래프 사용을 연구하는 법학자 키리 코초글루는 AI와 폴리그래프의 결합을 ‘양쪽의 나쁜 점만 모은 조합’이라고 불러요. 타당성이 부족한 측정 위에 불확실성을 한 겹 더 얹는 셈이라는 거예요. 이번 사업을 두고도 코초글루는 복잡한 것을 손에 잡히는 무언가로 환원하려는 잘못된 시도라고 평가했어요.

가장 밑바닥의 벽은 따로 있어요. 거짓말에만 나타나는 단일 신호가 없다는 점. 모든 사람에게, 언제나 똑같이 나타나는 거짓말의 흔적은 발견된 적이 없어요. 반 데르 제이 교수의 표현으로는 “피노키오의 코는 아직 없다”. 알고리즘을 아무리 다듬어도, 찾아야 할 대상부터 정의되지 않은 상태라는 얘기예요.

한국엔 당장 영향 없지만, 웹캠 영상의 무게는 달라진다

직접 달라지는 건 거의 없어요. Polygraph+는 미 연방정부의 신원조사를 맡는 국방방첩보안국(DCSA)이 운영할 사업이고, 용도도 채용 예정자 심사와 ‘내부자 위협 탐지’로 적혀 있어요. 예산 문서는 아직 의회 승인도 받지 않았고요. 한국 사용자가 쓰는 앱이나 기기에 이 사업이 곧바로 닿을 경로는 보이지 않아요.

간접적인 쪽은 따져볼 만해요. 여기부터는 추측이라는 점을 먼저 밝혀둘게요. 일반 카메라로 심박수와 호흡수를 잰다는 기술이 국방 예산과 함께 주목받으면, 같은 계열 기술이 채용 면접이나 출입 보안 같은 민간 서비스에 ‘진정성 분석’, ‘스트레스 분석’ 같은 이름을 달고 등장할 가능성도 있어 보여요. 노트북 웹캠과 스마트폰 전면 카메라는 대부분의 사람이 이미 갖고 있으니 하드웨어 장벽이 낮거든요.

개인정보 관점에서 보면 의미가 한층 달라져요. 얼굴 영상에서 심박과 호흡이 추출된다면, 화상 면접 녹화본은 단순한 영상이 아니라 생체 신호가 담긴 데이터가 되는 셈이에요. 이런 서비스를 만났을 때 던질 질문은 다섯 가지로 좁혀져요.

• 무엇을 측정하는가: 영상에서 어떤 신호(심박, 피부 온도, 시선, 음성)를 뽑는지 공개하는지
• 무엇을 정답으로 학습했는가: ‘거짓말’이나 ‘부정직’이라는 라벨을 어떻게 만들었는지
• 오탐은 얼마나 되는가: 정확도 한 숫자 대신, 정직한 사람을 의심으로 분류하는 비율을 따로 밝히는지
• 집단별 편향을 검증했는가: 피부색, 연령, 장애 여부 등에 따라 결과가 쏠리지 않는지
• 파생 데이터는 어떻게 관리되는가: 원본 영상뿐 아니라 추출한 생체 신호의 보관·삭제 정책이 있는지

이 질문들에 답하지 못하는 도구라면 그 점수를 판단 근거로 삼기 어렵다고 보는 게 맞아요. 폴리그래프가 1920년대부터 풀지 못한 정답 데이터 문제를 ‘AI 분석’이라는 이름표 하나로 해결했을 리는 없으니까요.

확인된 것과 아직 불확실한 것

확인된 것

• 미 국방부 예산 요청에 5년간 3,030만 달러 규모의 Polygraph+(Polygraph Next) 사업이 들어 있다
• 사업 초점은 AI·머신러닝 기반 점수화 알고리즘과 비접촉(스탠드오프) 센싱이다
• 운영 주체는 DCSA, 용도는 채용 예정자 심사와 내부자 위협 탐지다
• DIU는 2023년 기만 탐지 시제품 개발사로 Presage Technologies와 Altec Research를 선정했다
• 1983년 OTA와 2003년 NRC는 직원 심사용 폴리그래프의 근거가 약하다고 평가했다

아직 불확실한 것

• 의회가 이 예산을 승인할지 여부
• Polygraph+에 실제로 어떤 기술이 쓰일지(DCSA는 추가 정보 요청에 응답하지 않았다)
• DIU 시제품의 기만 탐지 성능(두 회사와 DIU 모두 논평하지 않았다)
• AI 점수화가 기존 폴리그래프보다 정확하다는 독립적인 검증 결과

거짓말탐지기가 실제로 하는 일은 판정보다 억제

반 데르 제이 교수가 꼽는 폴리그래프의 가장 큰 효과는 억제력이에요. 검사가 시작되기도 전에 자백하는 경우가 많다는 거죠. 조건이 하나 붙어요. 사람들이 폴리그래프가 통한다고 믿어야 한다는 것. 억제 효과가 믿음에 기대는 구조라서, 새 장비가 실제 정확도를 끌어올리지 못해도 ‘더 정교해졌다’는 인상만으로 억제 효과는 유지될 것으로 보여요. 뒤집으면 함정이기도 해요. 검사 전 자백처럼 겉으로 드러나는 효과만 보고 정확도가 좋아졌다고 착각하기 쉬운 구조거든요.

기술을 평가할 때 붙들 기준은 단순해요. 측정 장비가 정교해지는 것과 측정 대상이 명확해지는 것은 별개의 문제예요. 센서가 몸에서 떨어지고 알고리즘이 점수를 내놓아도, 그 점수가 무엇에 대한 점수인지 정의되지 않으면 정확도는 제자리예요. AI 거짓말탐지기 소식이 또 들리면 ‘이 시스템은 무엇을 정답으로 배웠나’부터 물어보세요. 과장된 주장은 대부분 그 질문 하나에서 걸러질 거예요.

출처: MIT Tech Review AI

AI리서치팀

Daily News Korea AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.