챗GPT한테 존재하지도 않는 논문 제목이랑 저자, 출판연도까지 물어본 적 있나. 그럴듯한 답이 술술 나온다. 제미나이도, 클로드도 다르지 않다. 틀린 정보를 이렇게 자신만만하게 내놓는 현상, 업계에서는 할루시네이션(hallucination)이라 부른다. 검색 한 번으로 걸러지지도 않으니 원인이랑 대응법 정도는 정리해둘 필요가 있다.
챗봇이 왜 이렇게 뻔뻔하게 틀리나
대형언어모델(LLM)은 사실을 저장해뒀다가 꺼내 쓰는 데이터베이스가 아니다. 방대한 텍스트를 학습해서 다음에 올 단어의 확률을 계산하고, 그걸 이어 붙여 문장을 만드는 구조다. ‘정답을 안다’가 아니라 ‘그럴듯하게 이어질 문장을 예측한다’ 쪽에 가깝다. 학습 데이터에 없는 걸 묻거나 질문 자체가 애매하면, 모델은 그 빈틈을 그럴듯한 말로 메워버린다. 문법도 매끄럽고 어조까지 확신에 차 있으니, 사용자 입장에서는 사실로 착각하기 딱 좋다.
AI 할루시네이션, 정확히는 뭘 말하는 건가
존재하지 않는 사실, 인용, 통계, 코드 함수 같은 걸 마치 진짜인 것처럼 만들어내는 현상이다. 크게 두 갈래로 나뉜다.
- 내재적 할루시네이션: 입력된 문서나 프롬프트 내용과 모순되는 답변을 내놓는 경우
- 외재적 할루시네이션: 입력에는 없는, 검증 자체가 불가능한 정보를 새로 지어내는 경우
법률 자문이나 의료 정보처럼 정확도가 곧 생명인 분야에서는 이 차이가 실제 사고로 번진다. 미국에서는 AI가 지어낸 판례를 그대로 소장에 인용했다가 징계받은 변호사 사례도 있었다.
자주 보이는 할루시네이션 유형 4가지
- 사실 왜곡형: 실존 인물이나 사건의 날짜, 소속, 수치를 헷갈려서 답하는 경우
- 출처 조작형: 논문, 기사, 링크를 실제처럼 지어내는 경우
- 코드 환각형: 존재하지도 않는 라이브러리 함수나 API를 태연하게 제시하는 경우
- 논리 비약형: 앞뒤 문장은 그럴싸한데 중간 추론 과정이 빠지거나 왜곡된 경우
코드 환각형은 개발자 사이에서 유독 자주 나온다. 존재하지 않는 패키지명을 그럴듯하게 지어내면, 그 이름을 노리고 악성 패키지가 실제로 등록되는 보안 사고로 번지기도 한다. 이건 좀 섬뜩한 대목이다.
빅테크 모델 경쟁, 오류 빈도랑 무관하지 않다
구글, 메타, 오픈AI, 앤스로픽은 몇 달 간격으로 신모델을 내놓으며 경쟁 중이다. 이 과정에서 핵심 연구 인력이 회사를 옮기는 일도 잦고, 검증 기간을 충분히 못 가진 채 모델이 출시되는 경우도 생긴다. 안전성 검증팀이랑 모델 개발팀 사이 우선순위가 어긋나면, 답변의 유창함은 올라가도 스스로 오류를 걸러내는 능력은 오히려 떨어진다. 신모델일수록 출시 초기에 할루시네이션 리포트가 몰리는 경향, 눈여겨볼 부분이다.
프롬프트만 잘 써도 절반은 줄어든다
- 출처 요구하기: ‘출처를 밝혀줘’, ‘확실하지 않으면 모른다고 답해줘’라고 명시하면 근거 없는 단정이 줄어든다
- 맥락 문서 제공: 검색이나 RAG(검색증강생성) 기능을 켜서 답변 근거가 될 원문을 함께 넣어준다
- 단계별로 쪼개기: 복잡한 질문을 한 번에 몰아넣지 말고 작은 단위로 나눠 묻는다
- 교차 검증: 같은 질문을 서로 다른 모델에 던져보고 답이 일치하는지 비교한다
회사명, 통계, 법령 조항처럼 틀리면 곤란한 정보는 모델 답변을 초안 정도로만 쓰고, 원문 자료로 직접 대조하는 습관을 들이는 게 안전하다.
기업이 도입 전에 짚어야 할 체크리스트
- 업무에 쓰는 모델이 답변 근거(출처)를 함께 제시하는지
- 중요 문서 작성 시 사람이 검토하는 단계가 프로세스에 박혀 있는지
- 모델 응답 로그를 남겨서 나중에 오류를 추적할 수 있는지
- 법률, 의료, 재무 같은 고위험 업무엔 별도 검증 절차를 두는지
이 네 가지만 갖춰도 할루시네이션발 사고 가능성은 눈에 띄게 줄어든다. 도입 초기에 체크리스트를 문서로 남겨두면, 담당자가 바뀌어도 기준이 흔들리지 않는다.
결과 믿기 전에 챙길 습관 3가지
첫째, 숫자랑 고유명사는 원문으로 다시 확인한다. 둘째, 모델이 확신에 찬 어조로 말한다고 그게 정확도를 보장하진 않는다는 걸 기억해둔다. 셋째, 같은 질문을 다른 모델이나 검색으로 교차 확인하는 습관을 들인다. 챗봇, 빠른 초안 작성 도구로는 확실히 탁월하다. 다만 최종 판단은 결국 사람 몫으로 남는다.
MIT 테크리뷰 AI 뉴스레터가 전한 내용을 바탕으로 정리했다. 원문 보기
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.