과제 마감 전날 밤새워가며 직접 썼는데, 검사 결과에 ‘AI 작성 확률 92%’라고 뜬다. 억울하다 못해 화가 날 상황이다. 요즘 대학, 회사, 심지어 채용 전형에서까지 AI 탐지 프로그램을 들이대는 곳이 늘면서 이런 일이 실제로 벌어지고 있다. 문제는 이 도구들이 생각만큼 정확하지 않다는 것. GPTZero, Turnitin, Copyleaks 같은 서비스가 어떤 원리로 판단하는지, 어디까지 믿어도 되는지, 오탐이 걸렸을 때 뭘 해야 하는지 짚어봤다.
AI 탐지기는 대체 뭘 근거로 판단할까
텍스트를 스캔해서 ‘AI스러움’을 숫자로 뽑아내는 게 이 도구들의 기본 작동 방식이다. 핵심 지표는 두 가지.
- 퍼플렉시티(perplexity): 다음 단어를 얼마나 쉽게 예측할 수 있는지 재는 값. AI는 확률 높은, 그러니까 예측 가능한 단어를 고르는 버릇이 있어서 이 값이 낮게 나온다.
- 버스티니스(burstiness): 문장 길이와 구조가 얼마나 들쭉날쭉한지 보는 지표. 사람은 짧은 문장, 긴 문장을 섞어 쓰지만 AI는 리듬이 일정한 편이다.
이 두 값을 조합해서 ‘AI 생성 확률’이라는 점수 하나를 뽑아낸다. 문장을 하나하나 ‘이해’하고 판단하는 게 아니라 통계적 패턴 분석이라는 점, 기억해둘 필요가 있다.
정확도 98~99%, 그대로 믿기는 어렵다
업체들은 하나같이 자사 도구 정확도가 98~99%라고 홍보한다. 그런데 독립 연구기관이 직접 검증해보면 얘기가 달라지는 경우가 잦다. 스탠퍼드 연구진 논문에서는 영어가 모국어가 아닌 사람이 쓴 에세이의 절반 이상이 AI 생성물로 오판됐다는 결과가 나왔다. 이유는 단순했다. 문장 구조가 단순하고 반복적인 표현이 많다는 것. 그것만으로 사람이 쓴 글이 AI 글로 분류된 셈이다.
하나 더 있다. 탐지기마다 기준과 학습 데이터가 달라서, 같은 글을 넣어도 도구별로 결과가 크게 갈린다. A 도구에서 ‘AI 생성 15%’가 나온 글이 B 도구에서는 80% 넘게 나오기도 한다. 이쯤 되면 뭘 믿어야 할지 헷갈리는 것도 무리는 아니다.
억울한 오탐, 왜 자꾸 생기나
AI 탐지기가 유독 헷갈려 하는 글쓰기 스타일이 따로 있다.
- 정형화된 보고서체: 서론-본론-결론이 뚜렷하고 접속사를 규칙적으로 쓰는 글
- 문법 교정 도구를 거친 글: 문법 검사기로 다듬으면 문장이 매끄러워지면서 AI 패턴과 비슷해진다
- 번역기를 거친 글: 원문을 영어 등으로 번역하면 문장 리듬이 단조로워진다
- 정해진 틀이 있는 글: 자기소개서나 논문 서론처럼 표현이 비슷비슷한 장르
이런 특징을 가진 글이라면, 사람이 직접 썼어도 AI 판정을 받을 위험이 낮지 않다. 성실하게 다듬을수록 오히려 의심받는, 좀 얄궂은 구조다.
많이 쓰는 탐지 도구 4개, 뭐가 다를까
학교와 기업에서 주로 쓰는 도구는 이 정도로 압축된다.
- GPTZero: 교육기관에서 가장 널리 쓰인다. 퍼플렉시티와 버스티니스를 기반으로 문장 단위까지 표시해준다.
- Turnitin: 원래 표절 검사로 유명했는데 여기에 AI 탐지 기능을 얹었다. 대학 과제 제출 시스템에 기본 탑재된 곳이 많다.
- Copyleaks: 기업용 콘텐츠 검수에 자주 쓰인다. 여러 언어를 지원하는 게 강점.
- Originality.ai: 블로그나 마케팅 콘텐츠 검수용으로 인기가 높다. 표절 검사 기능도 함께 딸려온다.
도구마다 판정 기준이 제각각이라, 결과 하나만 보고 단정 짓기보다 여러 개를 교차로 돌려보는 편이 안전하다.
오탐 피하려면 미리 이렇게 대비하자
AI 탐지 판정 때문에 곤란해지는 상황, 몇 가지 습관으로 미리 막을 수 있다.
- 작성 과정을 기록해두기: 구글 문서나 워드의 ‘버전 기록’ 기능을 켜두면 처음부터 직접 썼다는 증거가 남는다.
- 문장 길이를 의식적으로 섞기: 짧은 문장과 긴 문장을 번갈아 쓰면 버스티니스 지표가 자연스럽게 올라간다.
- 문법 교정 도구는 과하게 쓰지 않기: 맞춤법 정도만 손보고, 문장 전체를 다시 써주는 기능은 피하는 편이 낫다.
- 초안과 자료 조사 흔적 남기기: 메모, 참고 자료 캡처, 중간 초안 파일을 따로 저장해두면 나중에 소명 자료로 쓸 수 있다.
학교나 회사에서 오탐 판정을 받았다면
판정 결과만으로 징계나 불이익을 주는 곳이 늘고는 있다. 하지만 탐지 결과는 어디까지나 확률 수치일 뿐, 확정적인 증거는 아니다. 담당자에게 이의를 제기할 때는 작성 과정을 보여줄 자료를 함께 내는 게 효과적이다. 문서 버전 기록, 검색 기록, 손글씨 메모 사진 같은 것들이 도움 된다. 실제로 미국 여러 대학은 AI 탐지 결과만으로 학생을 처벌하지 않겠다는 방침을 내놨다. 숫자 하나에 기대기보다 정황 전체를 보고 판단하는 쪽으로, 정책이 바뀌는 흐름이다.
이것도 궁금하죠
Q. AI 탐지를 피하는 프로그램을 쓰면 안전할까?
검색하면 관련 서비스가 여럿 나오지만 권하기는 어렵다. 탐지 우회를 노린 결과물은 문장이 부자연스러워져서 오히려 더 의심을 사는 경우가 많다. 학칙이나 사내 규정 위반으로 간주될 위험도 크다.
Q. 사람이 다시 읽어보면 AI 글을 정확히 가려낼 수 있나?
아니다. 여러 실험에서 사람 채점자의 판별 정확도 역시 동전 던지기 수준, 50~60%대에 머무는 경우가 많았다. 도구든 사람이든 완벽한 판별은 어렵다는 얘기다.
Q. AI로 초안만 잡고 사람이 전부 고치면 안전한가?
표현을 많이 바꿔도 문장 구조나 어휘 선택 패턴이 남아있으면 탐지될 여지가 있다. 결과 하나에 매달리지 말고, 애초에 작성 과정 기록을 남겨두는 습관이 더 확실한 대비책이다.
결국 남는 건 증거 습관
AI 탐지기는 앞으로도 계속 진화하겠지만, 판정 자체가 완벽해지기는 쉽지 않아 보인다. 통계적 패턴을 보는 방식인 이상 오탐과 미탐은 계속 붙어 다닐 수밖에 없다. 지금 가장 확실한 대비는 탐지기 점수 하나에 일희일비하지 않는 것, 그리고 스스로 작성 과정을 기록해두는 습관이다. 그 기록이 결국 가장 확실한 증거가 된다.
출처: The Verge AI