[태그:] 딥페이크

지난 8월 2일부터 유럽에서 판이 좀 바뀌었다. 챗봇과 대화를 나누거나 딥페이크 영상·이미지를 마주칠 때, 그게 사람이 아니라 AI가 만든 거라는 사실을 반드시 알려줘야 한다는 규정이 실제로 돌아가기 시작한 거다. 어기면 최대 1500만 유로, 혹은 전 세계 매출의 3% 중 더 큰 쪽을 과징금으로 물어야 한다. 액수만 봐도 장난이 아니다.

AI법, 이번엔 투명성 차례다

EU AI법은 처음부터 한꺼번에 시행된 게 아니다. 단계를 밟아왔다. 2025년 2월엔 사회적 점수화 같은 금지 행위부터 막았고, 같은 해 8월엔 챗GPT나 제미나이 같은 범용 AI 모델을 만드는 회사들에 의무를 지웠다. 그리고 2026년 8월 2일, 이번엔 일반 이용자와 직접 맞닿은 조항, 그러니까 50조 투명성 규정이 본격 적용에 들어갔다.

겨냥하는 지점은 명확하다. 사람들이 매일 마주치는 화면. 상담 챗봇, AI가 그려낸 이미지, 표정이나 감정을 읽어내는 인식 시스템까지 전부 포함된다.

챗봇, 이제 정체를 숨기면 안 된다

사람과 대화하도록 설계된 AI라면 자기가 AI라는 걸 먼저 밝혀야 한다. 은행 상담 챗봇이든 쇼핑몰 문의창이든 예외 없다.

• 대화가 시작되는 시점에 AI임을 알려야 한다
• 맥락상 누가 봐도 AI인 게 뻔한 경우는 예외다 (단순 자동응답 정도)
• 감정을 읽거나 생체 정보를 분류하는 시스템도 따로 고지해야 한다

업무용 소프트웨어에 딸려 있는 AI 비서나 콜센터 자동응답도 마찬가지. 빠져나갈 구멍은 없다.

딥페이크엔 무조건 워터마크

이미지든 음성이든 영상이든, AI로 만들었거나 손을 댔다면 그 사실을 표시해야 한다. 공익적인 사안을 다루는 AI 생성 텍스트도 마찬가지다. 사람이 편집 책임을 지고 있을 때만 예외가 인정된다.

구글은 이미 자사 이미지 생성 도구에 신스ID(SynthID) 워터마크를 심어뒀다. 오픈AI도 C2PA 메타데이터 표준을 붙이는 중이다. 준비된 회사들은 이미 한발 앞서 있었던 셈. 다만 예술이나 풍자, 창작 목적 콘텐츠는 고지 의무가 있어도 표현 자체를 막지 않는 선에서 기준이 좀 느슨하다.

어기면 얼마나 물어야 하나

과징금은 위반 유형에 따라 3단계로 나뉜다. 사회적 점수화 같은 금지 행위는 최대 3500만 유로 또는 매출의 7%. 이번 투명성 의무를 포함한 일반 의무 위반은 최대 1500만 유로 또는 매출의 3%. 허위나 부정확한 정보를 제공하면 최대 750만 유로 또는 매출의 1%다. 매출 기준이 정액보다 크면 그쪽이 적용되는 구조라서, 빅테크 입장에선 정액 상한보다 매출 비율 쪽이 진짜 부담이다.

기업마다 반응이 다른 이유

메타는 2024년부터 AI 생성 이미지에 라벨을 붙여왔다. 구글과 오픈AI도 워터마크 인프라를 벌써 갖췄고. 반면 xAI의 그록(Grok)은 딥페이크 이미지 생성 기능 때문에 논란이 끊이지 않았던 곳이라, 이번 규정으로 기능 자체를 손봐야 하거나 라벨링을 강제로 붙여야 할 가능성이 크다.

결국 준비된 기업과 그렇지 않은 기업 사이 격차가 이번 시행으로 드러난 거다. 규제 대응 비용을 미리 치른 곳과, 이제야 부랴부랴 시스템을 고쳐야 하는 곳의 차이. 이게 은근히 크다.

국내 기업도 남 얘기가 아니다

네이버 하이퍼클로바X, 카카오의 AI 서비스, 삼성 갤럭시 AI. EU 이용자 대상으로 서비스를 넓히는 순간 이 규정을 똑같이 적용받는다. 한국도 2026년 1월 시행된 AI기본법에 딥페이크 표시 의무 조항이 담겨 있어서, EU 규정과 어떻게 맞춰야 할지가 국내 기업 법무팀의 새 숙제로 떠올랐다.

웹툰이나 엔터테인먼트 업계처럼 AI 생성 이미지로 콘텐츠를 만들어 해외 플랫폼에 유통하는 국내 창작사들도 워터마크 표준을 챙겨야 할 때다. 국내 규제와 EU 규제의 표시 방식이 다르면, 이중으로 라벨을 붙여야 하는 번거로움까지 떠안을 수 있다. 이건 좀 골치 아픈 부분.

출처: The Verge

미네소타주가 8월 1일부터 시행하려던 'AI 누디파이(nudification) 금지법'에 제동이 걸렸다. 일론 머스크의 AI 스타트업 xAI가 시행을 닷새 앞둔 7월 27일, 미네소타 주 검찰총장 키스 엘리슨을 상대로 연방법원에 소송을 냈다.

전국 최초, 미네소타의 초강력 규제

문제의 법 이름은 'HF 1606'. 동의 없이 신체 특정 부위를 노출한 것처럼 사진을 조작하는 이른바 '누디파이' 앱을 정조준했다. 미국 주 단위 입법으로는 첫 사례다.

핵심은 처벌 방식에 있다. 이용자가 어떤 의도로 썼는지, 플랫폼이 알고 있었는지는 따지지 않는다. 위반 1건당 최대 50만 달러(약 7억 원)의 민사 벌금을 물릴 수 있는 엄격책임 조항이다. 면책 조항(safe harbor)도 없다. 고의성을 입증해야 한다는 요건도 없다. 그런데도 이 법안, 미네소타 하원에서 132대 1, 상원에서는 65대 0으로 통과됐다. 여야 가리지 않고 표를 몰아준 셈이다.

xAI 소송의 요지

xAI 주장은 단순하다. 이 법이 수정헌법 1조가 보장하는 표현의 자유를 침해하는 '과잉 범위의 내용 기반 규제'라는 것. 소장에서 xAI는 법이 그대로 시행되면 자사 이미지 생성 도구 '그록 이미지(Grok Imagine)'의 편집 기능을 여러 방식으로 제한하는 것 말고는 실질적인 대안이 없다고 밝혔다.

• 7월 27일 미네소타 연방지방법원에 제소
• 피고는 키스 엘리슨 주 검찰총장
• 법 시행일은 8월 1일, 소송은 그 직전에 제기
• 쟁점은 '엄격책임 + 고액 벌금' 조합의 위헌 여부

왜 하필 지금인가, 그록의 전과가 있다

이 소송, 뜬금없이 나온 게 아니다. 그록의 이미지 편집 기능은 2025년 12월 출시 직후부터 '디지털 옷 벗기기' 도구로 악용됐다. 2025년 12월 29일부터 2026년 1월 8일까지, 단 열흘 남짓한 기간에 아동을 대상으로 한 성적 이미지가 약 2만 3천 건 만들어졌다는 추정치가 나왔다. 여성을 대상으로 한 성적 이미지 게시물은 최소 180만 건. 숫자만 봐도 아찔하다.

후폭풍은 컸다. 테일러 스위프트를 비롯한 유명인 합성 이미지가 SNS를 뒤덮으며 논란이 커졌다. xAI는 1월 9일 이미지 생성 기능을 유료 구독자로 제한했고, 1월 14일에는 실존 인물 관련 콘텐츠 생성을 추가로 단속하겠다고 발표했다. 딱 반년 만에 규제 당국과 정면으로 맞서는 처지가 된 셈이다.

미네소타 하나로 끝날 문제가 아니다

xAI를 겨냥한 법적 압박, 이번이 처음이 아니다. 여성과 미성년자 피해자들이 낸 민사소송이 최소 두 건 더 진행 중이다. 미국 하원 에너지·상업위원회 민주당 의원들은 그록의 비동의 성적 이미지 확산 실태를 별도로 조사하고 있다. 여러 주 검찰총장이 공동으로 xAI에 경고 서한을 보낸 일도 있었다.

이번 미네소타 소송이 다른 점, 방향이 거꾸로라는 것이다. 앞선 사건들은 피해자나 정부가 xAI를 상대로 문제 삼는 구도였다. 이번엔 xAI가 먼저 정부를 상대로 '규제가 과하다'며 칼을 빼 들었다. 법정에서 이 논리가 통할지는 별개 문제다. 다만 여론의 뭇매를 맞은 지 반년도 안 돼 표현의 자유 카드를 꺼내 든 타이밍, 묘하다.

딥페이크 처벌법, 한국은 지금 어디쯤

한국은 이미 딥페이크 성범죄에 대해 제작·유포 모두 처벌하는 법 체계를 갖췄다. 영리 목적이 아니어도, 유포 의사가 없었어도 처벌 대상이 될 만큼 국내 처벌 규정은 촘촘하다. 다만 미네소타법처럼 플랫폼 사업자 자체에 건당 억대 벌금을 매기는 엄격책임 조항까지는 아직 없다.

네이버 클로바나 카카오 같은 국내 빅테크도 이미지 생성 기능을 속속 붙이는 중이다. 이번 소송의 결론, 남의 나라 일로만 보기 어려운 이유다. 미국 법원이 xAI 손을 들어주면 '플랫폼 책임을 어디까지 물을 수 있는가'를 둘러싼 논쟁이 국내 입법 과정에도 참고 사례로 인용될 여지가 크다. 반대로 미네소타법이 유지되면 국내에서도 플랫폼 단위 책임을 강화하자는 목소리에 힘이 실릴 것으로 보인다. 개인적으로는, 표현의 자유와 피해자 보호 사이 균형점을 법원이 어떻게 그을지 이 재판이 하나의 기준점이 될 거라 본다.

출처: The Verge

틱톡이 조용히 새 기능 하나를 시험대에 올렸다. 내 얼굴을 도용해 AI가 만든 영상을 자동으로 찾아주는 기능이다. 소셜미디어 컨설턴트 매트 나바라가 먼저 포착해 알렸는데, 방식은 이렇다. 크리에이터가 동의하면(옵트인) 자기 얼굴이 AI로 합성된 콘텐츠를 스캔해서 알려주고, 그 자리에서 틱톡에 신고까지 이어지게 해준다.

테스트 중인 게 정확히 뭐냐면

틱톡 미국 대변인 재커리 카이저가 더버지 취재에 확인해준 내용을 보면, 이 기능은 지금 미국의 일부 크리에이터에게만 열려 있다. 신청한 크리에이터의 얼굴을 기준 삼아 플랫폼 안의 다른 영상들을 훑고, AI가 만든 걸로 의심되는 콘텐츠가 나오면 알려준 뒤 신고 절차로 곧장 넘겨주는 구조로 보인다.

전면 공개는 아직이다. 그래서 탐지 정확도가 얼마나 되는지, 오탐은 얼마나 나는지, 신고 이후 처리는 어떻게 되는지 세부 내용은 베일에 싸여 있다. 옵트인 방식이라는 점도 눈에 걸린다. 크리에이터 본인이 자기 얼굴 데이터를 틱톡 시스템에 먼저 등록해야 돌아가는 구조라, 결국 참여율이 관건이 될 것 같다.

왜 하필 지금인가

AI 영상 생성 도구가 몇 달 새 눈에 띄게 좋아졌다. 그러면서 유명인이든 일반 크리에이터든, 남의 얼굴 가져다 쓴 딥페이크 콘텐츠가 SNS에 쏟아지기 시작했다. 오픈AI의 소라 같은 영상 생성 모델이 대중화되면서 실존 인물의 얼굴과 목소리를 합성하는 문턱이 확 낮아진 탓이다.

• 동의 없이 얼굴이 합성된 광고·홍보 영상 확산
• 가짜 발언이 담긴 정치·시사 관련 딥페이크 논란
• 크리에이터 초상권 침해로 인한 소송 및 분쟁 증가

방치하면 규제 리스크와 이용자 이탈, 두 가지를 한꺼번에 떠안아야 하는 상황이다. 그러니 플랫폼 입장에서는 선제적으로 대응 도구를 내놓는 모양새가 나올 수밖에 없다.

유튜브도 같은 문제를 붙들고 있다

더버지 기사를 보면 유튜브 역시 비슷한 얼굴 탐지 도구를 준비 중이라고 한다. 유튜브는 크리에이터가 자기 얼굴이나 목소리가 무단으로 쓰인 영상을 발견하면 삭제 요청을 할 수 있는 시스템을 이미 일부 시험해봤다. 이번 틱톡의 움직임도 결국 같은 문제의식에서 나온 셈이다.

구글과 바이트댄스, 경쟁사인 두 회사가 비슷한 시기에 같은 방향의 기능을 내놓는다는 건 의미가 있다. 딥페이크 대응이 이제 선택 사항이 아니라 플랫폼이 살아남기 위한 필수 조건이 됐다는 신호로 읽힌다.

크리에이터 입장에선 반가운 소식, 그런데

얼굴 자체가 수익 자산인 인플루언서나 크리에이터라면 이런 도구, 반가울 수밖에 없다. 팔로워 수십만 명을 거느린 크리에이터의 얼굴이 가짜 다이어트 제품 광고나 사기성 투자 콘텐츠에 무단으로 쓰이는 사례, 이미 여러 건 보고됐다.

다만 한계도 뚜렷하다. 탐지 모델이 최신 생성 AI를 얼마나 따라잡을 수 있을지는 미지수다. 옵트인 방식이라 등록하지 않은 일반 이용자는 여전히 사각지대에 남는다. 초상권 보호를 개인 신청에 맡기는 구조라는 점에서, 근본적인 한계라는 지적이 나올 만하다.

국내 K팝·연예 업계엔 남 얘기가 아니다

한국은 K팝 아이돌과 배우 얼굴을 이용한 딥페이크 피해가 이미 사회 문제로 불거진 지역이다. 실제로 일부 여성 아이돌 얼굴을 합성한 불법 영상물 유통 사건이 언론에 여러 차례 보도됐고, 국회에서도 딥페이크 처벌을 강화하는 법안이 통과됐다.

틱톡과 유튜브 모두 한국에서 이용자 기반이 압도적이다. 그래서 이런 탐지 기능이 국내에도 확대 적용될지가 관건이다. 다만 미국 크리에이터 중심으로 먼저 검증되는 단계라는 걸 감안하면, 국내 도입까지는 시차가 있을 가능성이 높다. 국내 엔터테인먼트 업계와 MCN 업체들도 이런 플랫폼 차원의 대응책을 참고해서 자체 모니터링 체계를 갖출 필요가 커지는 시점이다.

출처: The Verge

미드저니로 만든 이미지를 실제 사진 옆에 놓으면 전문가도 고개를 갸우뚱한다. 소라로 만든 영상은 이미 뉴스 화면과 구분이 어렵다. 챗GPT 텍스트는? 솔직히 웬만한 기사보다 낫다. 이쯤 되면 우리가 소비하는 정보의 출처를 신뢰할 수 있는지 근본적으로 물어봐야 한다.

AI 워터마크는 이 질문에 대한 기술적 답변이다. 눈에 보이지 않지만, 콘텐츠 안에 심어진 디지털 지문. 딥페이크가 퍼지고 가짜뉴스가 범람하는 지금, 이 기술이 왜 중요한지 제대로 뜯어본다.

딥페이크와 가짜뉴스 — AI가 만든 어두운 이면

AI 기술의 발전이 마냥 좋은 것만은 아니다. 딥페이크는 특정 인물의 얼굴과 목소리를 합성해 실제와 구분하기 어려운 가짜 영상이나 음성을 만든다. 정치인 발언 조작, 연예인 사기, 개인 명예 훼손 — 실제로 일어나고 있는 일들이다.

기업도 예외가 아니다. AI가 생성한 이미지나 텍스트가 무단으로 유통되면 지적 재산권 침해와 브랜드 신뢰도 하락으로 이어진다. 소비자 입장에서는 내가 보는 정보가 AI가 조작한 건지, 사람이 만든 진짜인지 알 방법 자체가 없다. 이 불확실성이 쌓이면 사회 전체의 불신이 된다.

AI 워터마크는 이 문제에 대한 기술적 대응이다. 완벽하지는 않지만, 지금 나온 해법 중 가장 현실적인 축에 속한다.

AI 워터마크의 원리: 눈에 보이지 않는 디지털 지문

AI 워터마크는 AI가 생성한 콘텐츠에 디지털 워터마크를 심는 기술이다. 회사 로고를 이미지에 박는 것과 비슷하다고 생각할 수 있지만 — 아니다. 훨씬 정교하고, 훨씬 은밀하다.

핵심은 이렇다. 사람 눈으로는 감지할 수 없지만, 특정 알고리즘으로는 명확하게 읽을 수 있는 신호를 콘텐츠 안에 숨겨 넣는 것. AI가 이미지를 생성할 때 픽셀 값에 미세한 패턴이나 노이즈 형태의 디지털 신호를 삽입한다. 이 신호가 콘텐츠의 디지털 지문이다. 나중에 이 콘텐츠가 AI 생성물인지 의심될 때, 전용 탐지 도구로 읽어내면 생성 여부와 생성 주체를 파악할 수 있다.

워터마크가 실용적이려면 조건이 하나 있다. 압축, 크기 조정, 필터 적용 같은 편집 과정을 거쳐도 살아남아야 한다는 것. 메타데이터는 파일 속성 창 하나면 삭제된다. AI 워터마크는 다르다. 콘텐츠 자체에 깊이 박혀 있어 제거가 훨씬 어렵다. 이게 단순 메타데이터와의 결정적인 차이다.

내재형 vs 외재형 — 워터마크를 나누는 기준

AI 워터마크는 삽입 시점에 따라 두 종류로 나뉜다.

• 내재형(Intrinsic) 워터마크: AI 모델이 콘텐츠를 생성하는 단계에서부터 워터마크를 심는 방식이다. 모델 학습 과정이나 생성 알고리즘 자체에 워터마크 삽입 기능을 통합한다. 결과물이 나올 때부터 디지털 지문을 달고 나오는 셈이다.

내재형의 최대 강점은 견고성이다. 압축, 자르기, 색상 변경 같은 편집을 가해도 워터마크가 쉽게 지워지지 않는다. 구글의 SynthID가 대표적이다. AI 모델 자체를 제어하는 기업이 주로 채택하는 방식이기도 하다.

• 외재형(Extrinsic) 워터마크: AI가 콘텐츠를 생성한 뒤에 별도 도구로 워터마크를 추가하는 방식이다. 특정 플랫폼에 AI 생성 콘텐츠를 업로드할 때 해당 플랫폼이 자체적으로 삽입하거나, 눈에 보이는 로고나 마크를 붙이는 형태다.

외재형은 구현이 비교적 쉽고 기존 AI 모델에도 적용 가능하다는 장점이 있다. 단점은 명확하다. 내재형보다 제거되거나 변조될 위험이 크다. 간단한 메타데이터 조작이나 이미지 편집만으로도 워터마크가 날아갈 수 있다.

결국 AI 생성 콘텐츠의 진위 판별에 실질적으로 효과가 있는 건 내재형이다. 외재형은 보조적 역할에 그칠 수밖에 없다.

구글 SynthID는 어떻게 작동하나

구글이 개발한 SynthID는 내재형 AI 워터마크의 가장 잘 알려진 사례다. 인간의 시각으로는 감지할 수 없는 방식으로 이미지 픽셀 내에 워터마크를 직접 삽입한다. 구글은 이를 ‘불가시적 워터마크(imperceptible watermark)’라 부른다.

작동 방식은 3단계다.

1. 생성 단계에서 삽입: 구글의 이미지 생성 AI인 Imagen 등이 이미지를 만들 때, SynthID가 이미지 데이터 내에 특정 패턴의 신호를 자동으로 주입한다. 수많은 픽셀 값의 미세한 변화로 나타나는데, 육안으로는 전혀 티가 나지 않는다.
2. 편집을 버티는 견고함: 압축, 크기 조정, 색상 변경을 거쳐도 워터마크가 살아남는다. AI 모델의 딥러닝 기술을 활용해 워터마크 자체를 변형에 강하게 설계했기 때문이다. 기술적으로 꽤 인상적인 부분이다.
3. 탐지 및 검증: 의심스러운 이미지가 있으면 SynthID 탐지 도구로 분석한다. 숨겨진 워터마크 신호를 읽어 AI 생성 여부를 높은 정확도로 판별해 준다.

Ars Technica 보도를 보면, 최근 오픈AI와 엔비디아 같은 주요 AI 기업들도 이 워터마크 기술 도입을 선언하며 산업 전반으로 확산되고 있다. 이 흐름이 의미 있는 건 — 한 회사의 기술적 결정이 아니라, AI 생태계 전반의 신뢰성 확보를 향한 집단적 움직임이기 때문이다.

워터마크의 한계 — 완벽하지 않다

솔직히 말하면, AI 워터마크는 아직 완성형 기술이 아니다. 한계도 분명히 있다.

• 제거 가능성: 아무리 견고한 워터마크라도, 악의적인 공격자는 이를 제거하거나 훼손하려고 시도한다. 워터마크 기술이 발전하면 제거 기술도 함께 발전한다. 숙명적인 고양이-쥐 게임이다.
• 적용 범위의 한계: 모든 AI 생성 콘텐츠에 워터마크를 의무 적용하기는 어렵다. 오픈소스 AI 모델이나 개인이 로컬에서 돌리는 경우는 강제할 방법이 없다. 워터마크 없는 콘텐츠도 얼마든지 유통된다는 뜻이다. 이게 워터마크 기술의 효과를 갉아먹는 핵심 변수다.
• 프라이버시 우려: 워터마크에 생성자 신원 같은 정보가 과도하게 담기면 개인 프라이버시 침해나 콘텐츠 검열 도구로 악용될 소지가 있다. 기술 활용에 대한 윤리적 가이드라인이 반드시 필요한 이유다.
• 탐지 도구 보급 문제: 워터마크가 심어져 있어도, 이를 확인할 탐지 도구가 일반 사용자에게 퍼지지 않으면 효과는 반감된다. 기술은 있는데 쓸 수 있는 사람이 없는 상황.

이 한계들을 넘으려면 기술적 진보 하나만으로는 부족하다. 산업 전반의 협력, 정책적 지원, 그리고 어떤 정보를 워터마크에 담을지에 관한 사회적 합의가 함께 이루어져야 한다.

다음 수순은 — AI 워터마크가 바꿀 것들

AI 워터마크 기술은 단순한 콘텐츠 식별을 넘어선다. 디지털 생태계 전반의 신뢰 인프라가 될 가능성이 있다. 웹사이트 이미지, 뉴스 기사, 소셜 미디어 게시물에 AI 워터마크가 보편적으로 적용되면 — 콘텐츠 출처와 AI 생성 여부를 실시간으로 확인하는 시대가 온다.

이 투명성은 세 가지를 바꾼다. 가짜뉴스 확산 억제, 창작자의 권리 보호, AI 기술의 책임 있는 발전. 생각해보면 디지털 콘텐츠에 대한 인식 자체를 뒤흔드는 변화다. AI가 만든 결과물을 즐기면서도, 동시에 그 뒤에 숨겨진 진실을 추적할 도구를 갖게 되는 것. AI 워터마크는 결국 기술 발전과 사회적 신뢰를 함께 붙드려는 시도다.

출처: Ars Technica