[태그:] 챗GPT

새벽 로그를 들여다보던 보안 담당자가 뭔가 이상하다는 걸 눈치챈다. 공격 속도가 사람 수준이 아니다. 취약점을 찾아내는 방식도 기계처럼 정교하다. 알고 보니 그 공격자, 사람이 아니라 AI 에이전트였다. 최근 이런 사례가 실제로 보고되면서 ‘자율 AI 해킹’이라는 말이 보안 업계에서 부쩍 자주 들린다. 이게 정확히 뭘 뜻하는지, 어떻게 작동하는지, 개인이나 기업은 뭘 챙겨야 하는지 한번 정리해본다.

AI 해킹 에이전트, 정체가 뭘까

AI 해킹 에이전트는 사람이 일일이 명령을 내리지 않아도 스스로 목표를 정하고, 취약점을 뒤지고, 공격 코드까지 짜서 실행하는 AI 시스템이다. 자동화 스캐너나 매크로 도구야 예전부터 있었다. 이번에 화제가 된 건 대형언어모델(LLM) 기반이라는 점에서 결이 다르다. 상황 따라 판단을 바꾸고, 한 방법이 막히면 다른 접근을 알아서 시도한다. 사람 해커의 사고 흐름을 흉내 낸다고 보면 얼추 맞다.

작동 원리 – 취약점 탐지부터 침투까지

대체로 이런 순서를 밟는다.

• 대상 시스템의 코드나 네트워크 구조를 스캔해서 정보부터 수집
• 알려진 취약점 데이터베이스와 대조하며 공격 지점 후보를 추린다
• 실제 공격 코드(익스플로잇)를 만들고 테스트 환경에서 검증
• 성공하면 실제 침투, 실패하면 경로를 바꿔 재시도

이 전 과정이 사람 손을 거치지 않고 몇 분에서 몇 시간 안에 끝난다. 이게 핵심이다. 화이트해커 한 명이 며칠씩 붙잡고 있던 작업을, AI는 훨씬 빠르게 그것도 쉬지 않고 반복한다.

기존 화이트해커 작업과 뭐가 다른가

모의 침투 테스트(펜테스트)를 하는 보안 전문가들도 비슷한 절차를 밟는다. 다만 사람에겐 판단력의 한계, 윤리적 제약, 시간과 비용이라는 벽이 있다. AI 에이전트는 이런 제약에서 상대적으로 자유롭다. 같은 코드를 수백 번 다른 각도로 찔러보는 무차별 탐색도 가능하고, 인건비 걱정 없이 여러 시스템을 동시에 노릴 수도 있다. 방어 쪽 입장에서 보면 상대해야 할 공격의 빈도와 속도 자체가 달라진다는 얘기다.

기업이 마주한 새로운 리스크

가장 큰 문제는 대응 속도의 비대칭이다. 사람 보안팀이 패치 하나 준비하는 사이, AI 공격자는 벌써 다른 구멍을 찾고 있을지 모른다. 오래된 레거시 시스템이나 패치 주기가 느린 오픈소스 라이브러리를 쓰는 곳일수록 취약하다. 물론 같은 기술이 방어용으로도 쓰인다. AI 기업들이 자사 모델로 취약점을 먼저 찾아 패치하는 ‘레드팀’ 용도로 공개하는 사례도 늘고 있다.

방어하려는 기업들의 대응 전략

• 제로트러스트 아키텍처 도입 – 내부 네트워크도 무조건 믿지 않고 매번 인증
• AI 기반 이상 탐지 도구로 비정상 트래픽 패턴을 실시간 감시
• 패치 주기를 짧게 가져가는 지속적 취약점 관리
• 자체 AI 레드팀을 운영해 선제적으로 구멍을 찾는 방식

공격에 AI가 쓰인다면 방어에도 AI를 붙이는 게 자연스러운 수순이다. 보안 솔루션 업체들이 앞다퉈 AI 탐지 기능을 내놓는 이유이기도 하다.

개인 개발자나 소규모 팀이 지금 챙길 것들

대기업만의 문제가 아니다. 개인 프로젝트나 스타트업도 표적이 될 수 있다. 오히려 방어 인력이 부족해서 더 취약한 쪽이다. 최소한 이 정도는 해두는 게 낫다.

• 의존성 라이브러리를 최신 버전으로 유지하고 취약점 알림을 구독한다
• API 키나 크레덴셜을 코드에 하드코딩하지 않는다
• 기본 방화벽 설정과 접근 제어 목록(ACL)을 점검한다
• GitHub Actions 같은 CI 파이프라인에 자동 보안 스캔을 넣는다

이것도 궁금하죠?

Q. AI 해킹은 지금 당장 흔한 위협인가?
아직은 국가 단위 사이버 작전이나 대형 보안 연구에서 주로 등장하는 수준이다. 다만 관련 도구가 오픈소스로 풀리는 속도를 보면 확산은 시간문제다.

Q. 일반 개발자도 대비해야 하나?
취약점 자동 탐색 자체는 오래전부터 있던 기술이다. AI가 그 속도를 끌어올렸다고 이해하면 된다. 기본적인 보안 위생만 지켜도 자동화된 공격 대부분은 걸러진다.

Q. AI 보안 도구는 유료 기업용만 있나?
깃허브 Dependabot이나 무료 오픈소스 스캐너처럼 개인도 부담 없이 쓸 수 있는 도구가 꽤 많아졌다.

이 내용은 MIT Tech Review 보도를 참고해 정리했다.

어젯밤에 클로드한테 질문 하나를 던졌더니 3초 만에 그럴듯한 답이 나왔다. 근데 그 답이 모델 안에서 어떤 계산을 거쳐 나왔는지, 사실 만든 회사도 속 시원히 설명 못하는 경우가 많다. Anthropic 연구진이 클로드 내부를 들여다보다가 특정 개념을 다루는 ‘숨겨진 공간’ 같은 걸 찾아냈다는 소식이 최근 전해지면서, 이 질문을 다시 떠올리게 됐다. AI는 실제로 어떻게 생각하는 걸까.

LLM을 업무에 쓰다 보면 결국 이 질문과 마주친다. 같은 질문인데 답이 매번 조금씩 다른 이유, 없는 사실을 그럴듯하게 지어내는 이유, 프롬프트를 어떻게 써야 원하는 답이 나오는지. 개발자가 아니어도 핵심만 딱 이해할 수 있게 풀어봤다.

AI를 ‘블랙박스’라 부르는 이유

딥러닝 모델 안에는 숫자(파라미터)가 수십억 개 들어있다. 개발자가 이 숫자를 하나하나 설계하는 게 아니다. 방대한 데이터를 학습시키는 과정에서 숫자들이 알아서 조정된다. 그래서 모델이 왜 이런 답을 냈는지 코드 한 줄로 짚어내기가 힘들다. 전통적인 소프트웨어는 사람이 ‘이 조건이면 이 결과’라는 규칙을 짠다. LLM은 다르다. 규칙 자체가 학습 과정에서 만들어진다. 결과는 보이는데 과정은 안 보인다. 이게 블랙박스 문제다.

토큰과 임베딩 – 글자를 숫자로 바꾸는 과정

AI는 글자를 글자 그대로 읽지 않는다. 문장을 잘게 쪼갠 조각을 토큰이라 부르고, 이 토큰 하나하나가 수백에서 수천 차원짜리 숫자 벡터, 임베딩으로 바뀐다. 이 숫자 공간 안에서는 뜻이 비슷한 단어끼리 가까이 놓인다. ‘고양이’와 ‘강아지’는 가깝고, ‘고양이’와 ‘은행 이자율’은 멀리 떨어진다. 결국 AI가 답을 만드는 과정은 이 벡터를 계속 변형하고 조합하는 작업이다. 겉으로는 문장, 속으로는 좌표 계산. 이게 진짜 정체다.

• 토큰화: 문장을 단어나 부분 단어 단위로 쪼개는 과정
• 임베딩: 각 토큰을 다차원 숫자 벡터로 표현하는 과정
• 어텐션: 문장 내 다른 토큰과의 관계를 계산해 맥락을 반영하는 과정

트랜스포머와 어텐션, 이 정도만 알면 충분하다

요즘 나오는 LLM은 거의 다 트랜스포머 구조를 쓴다. 핵심은 어텐션(attention)이라는 메커니즘. 문장 속 단어 하나가 다른 단어를 얼마나 참고해야 하는지 가중치를 매기는 방식이다. ‘은행에 갔다’라는 문장에서 ‘은행’이 금융기관인지 강가인지, 이건 주변 단어를 봐야 안다. 그 맥락 파악을 어텐션이 담당한다. 이 계산이 수십, 수백 층 쌓이면서 처음엔 단순한 문법만 다루던 모델이 뒤로 갈수록 훨씬 추상적인 관계까지 처리하게 된다.

모델 속에 있다는 ‘개념 공간’, 정체가 뭘까

Anthropic이 진행하는 해석가능성(interpretability) 연구는 이 블랙박스를 열어보려는 시도다. 재미있는 발견 하나. 모델 안 뉴런 하나가 개념 하나만 딱 담당하는 게 아니라, 여러 개념이 뒤섞여서 표현된다는 점이다. 이걸 중첩(superposition)이라 부른다. 연구진은 스파스 오토인코더 같은 기법으로 이 뒤섞인 신호를 풀어내면서, 모델이 코드나 아첨, 특정 도시 같은 구체적 개념을 다루는 내부 패턴을 하나씩 찾아내고 있다. 뇌를 스캔해서 어느 부위가 어떤 생각과 연결되는지 지도를 그리는 작업, 딱 그거랑 비슷하다. 이런 연구가 쌓이면 모델이 왜 특정 답을 내놓는지, 왜 없는 사실을 지어내는지 좀 더 정확히 짚어낼 여지가 생긴다.

없는 사실을 지어내는 이유 – 할루시네이션

LLM은 정답을 ‘찾는’ 게 아니다. 다음에 올 확률이 가장 높은 토큰을 ‘예측’할 뿐이다. 그래서 학습 데이터에 없거나 애매한 질문을 받으면, 그럴듯해 보이는 문장을 이어 붙여서 답을 만들어낸다. 이게 할루시네이션이다. 모델 입장에서 거짓말할 생각은 없다. 확률적으로 제일 자연스러운 다음 단어를 골랐을 뿐인데, 그 결과가 사실과 다를 뿐이다. 요즘 나오는 모델들은 출처를 같이 제시하거나 모른다고 답하도록 학습시켜서 이 문제를 줄이고 있다. 완전히 없애지는 못했다. 솔직히 여기가 아직 갈리는 지점이다.

알고 나면 프롬프트 쓰는 법이 달라진다

내부 작동 원리를 알면 AI를 쓰는 방식도 자연히 바뀐다.

• 맥락을 충분히 줘야 어텐션이 정확한 정보에 집중한다 – 질문만 던지지 말고 배경 정보도 같이 주는 게 낫다
• 애매한 질문일수록 할루시네이션 확률이 올라간다 – 검증 가능한 근거나 문서를 함께 주는 편이 안전하다
• 모델은 ‘이해’보다 ‘패턴 재현’에 가깝다 – 사실 확인이 필요한 작업엔 검색 기능이나 출처 인용을 같이 쓰는 게 낫다

결국 AI를 잘 쓰는 사람과 못 쓰는 사람, 차이는 이 도구가 어떻게 답을 만드는지에 대한 감각에서 갈린다. 확률과 패턴으로 움직이는 도구라는 걸 알고 쓰면, 언제 믿고 언제 검증해야 할지 판단이 훨씬 쉬워진다.

Tech Review AI 뉴스레터가 전한 바에 따르면, 이 내용은 MIT Tech Review AI에서 다뤘다.

챗봇 아무거나 켜서 “1부터 10 사이 숫자 하나만 말해줘”라고 쳐보자. 십중팔구, 7이다. “하나 더”라고 물으면 이번엔 3이나 4쯤 나오고, 그다음엔 8이나 9 언저리를 맴돈다. 사람한테 물어봐도 비슷한 쏠림이 생기긴 한다. 근데 진짜 문제는 따로 있다. ChatGPT든 클로드든 제미나이든, 브랜드를 안 가리고 거의 같은 숫자로 수렴한다는 거다. AI가 ‘무작위’라는 말을 근본적으로 오해하고 있는 셈인데, 이유를 알아두면 실무에서 AI 다루는 감각이 확 달라진다.

AI는 애초에 주사위를 던지지 않는다

대형언어모델, 그러니까 LLM은 다음에 올 단어(정확히는 토큰)를 확률 분포로 계산해서 뽑는 방식으로 돌아간다. “1부터 10 사이 숫자”라는 문장 뒤에 어떤 숫자가 나올 확률이 제일 높은지, 답은 이미 학습 데이터 안에 있다. 사람들이 인터넷에 “랜덤으로 숫자 하나 골라봐”라는 글을 남길 때 유독 7을 자주 썼고, 심리학 쪽 연구를 봐도 사람이 ‘진짜 무작위처럼 느껴지는’ 숫자로 7을 제일 많이 고른다는 결과가 있다. AI는 이 편향을 그대로 흡수해서 되풀이할 뿐이다. 결국 AI한테 무작위 숫자를 요구하는 건 동전을 던지라는 게 아니라, “사람들이 무작위라고 생각할 때 가장 많이 답한 숫자를 말해줘”라고 시키는 것과 다를 게 없다.

온도(Temperature)라는 손잡이의 정체

API 좀 만져본 사람이라면 temperature라는 파라미터, 한 번쯤 봤을 거다. 이게 바로 확률 분포에서 얼마나 과감하게 골라잡을지를 정하는 다이얼이다.

• temperature가 0에 가까우면 가장 확률 높은 답만 골라서, 물어볼 때마다 거의 똑같은 결과가 나온다
• 1 이상으로 올리면 확률 낮은 후보들도 뽑힐 틈이 생겨서 답이 다채로워진다
• ChatGPT 웹이나 클로드 웹처럼 대부분의 챗봇 서비스는 이 값을 사용자가 직접 못 만지게 해놨다. 서비스 쪽에서 적당히 낮게 고정해둔 경우가 많다

그래서 개발자용 API 콘솔이나 코드로 직접 호출할 때는 temperature를 1.0~1.3 사이로 올려보자. 답변이 다양해지는 게 바로 체감된다.

여러 AI가 똑같이 획일화되는 진짜 문제

숫자 하나 못 맞히는 거야 사실 별일 아니다. 진짜 골치 아픈 건 브레인스토밍, 아이디어 도출, 창작 작업에서도 비슷한 쏠림이 나타난다는 점이다. 회사 이름 지어달라, 소설 도입부 써달라, 마케팅 문구 뽑아달라 하면 — 서로 다른 회사 모델인데도 구조나 표현이 신기하리만치 겹친다. 학계에서는 이걸 모드 붕괴(mode collapse)라고 부른다. 사람 피드백으로 모델을 미세조정하는 RLHF 과정에서, 평가자들이 무난하고 안전한 답을 선호하다 보니 모델이 점점 ‘정답처럼 보이는 하나의 스타일’로 수렴해버리는 현상이다. 결과적으로 독립적으로 만들어진 모델들인데도 사고방식이 비슷해지는, 일종의 집단사고 상태에 빠지는 셈이다.

진짜 무작위 값이 필요할 땐 이렇게

추첨, 게임, 통계 시뮬레이션처럼 진짜 무작위성이 필요한 작업이라면, 챗봇한테 직접 묻는 것보다 다음 방법이 낫다.

• 프로그래밍 언어의 난수 함수를 쓴다. 파이썬이면 random.randint(), 자바스크립트면 Math.random()
• random.org처럼 대기 소음 기반으로 진짜 난수를 뽑아주는 서비스를 이용한다
• AI한테 직접 답을 내라고 하지 말고, “파이썬 코드로 1~10 사이 난수를 뽑아서 실행해줘”처럼 코드 실행 기능으로 우회시킨다. 코드 실행 환경이 붙어 있는 도구라면 이 방식이 훨씬 믿을 만하다

답변을 다채롭게 뽑아내는 프롬프트 팁

창작이나 아이디어 작업에서 획일화를 피하고 싶으면 프롬프트 자체를 바꿔보는 것도 방법이다. “완전히 다른 3가지 관점에서 답해줘”, “기존과 겹치지 않는 답만 골라줘”, “일부러 덜 흔한 선택지를 제시해줘”처럼 다양성을 못 박아서 요구하면 결과가 확 달라진다. 같은 질문을 여러 AI 서비스에 동시에 던져서 답을 비교해보는 것도 획일화에서 벗어나는 실용적인 방법이다. 결국 AI 답변의 패턴을 한번 이해하고 나면, 언제 AI한테 맡기고 언제 진짜 난수 도구나 사람 판단을 더해야 하는지 감이 잡힌다. 이건 알아두면 두고두고 쓸 일이 많다.

출처: MIT Tech Review AI

AI 세 개를 동시에 켜놓고 쓰는 사람들이 있다. 챗GPT로 초안 잡고, 클로드로 퇴고하고, 제미나이로 구글 문서 정리하는 식이다. 농담처럼 들릴 수 있는데, 실제로 이렇게 쓰는 사람이 꽤 된다. 그만큼 모델마다 잘하는 게 다르다는 얘기거든요.

오픈AI 챗GPT가 2022년 말 판을 깔았고, 구글이 제미나이로 추격했고, 앤트로픽의 클로드도 조용히 존재감을 쌓아가고 있다. 텍스트 생성, 코딩, 복잡한 분석까지 AI 쓸 일이 많아지면서 어떤 걸 골라야 하나 고민이 생기는 건 자연스럽다. 각자의 강점과 약점이 꽤 분명해서 단순히 ‘가장 좋은 AI’를 고르는 건 사실 큰 의미가 없다. 결국 쓸 목적에 맞는 모델을 찾는 게 맞다. 대표적인 세 거대 언어 모델(LLM)인 구글 제미나이, 오픈AI 챗GPT, 앤트로픽 클로드의 핵심 특징과 실제 쓰임새를 비교해봤다.

구글 제미나이: 구글 생태계와 멀티모달의 결합

제미나이는 처음 설계 단계부터 멀티모달(Multimodal)을 염두에 뒀다. 텍스트만 처리하는 게 아니라 이미지, 오디오, 영상까지 한 번에 이해하고 추론한다. 사진 한 장 던져주면 뭔지 분석해서 답변 만들어주는 식인데, 구글이 검색 엔진으로 쌓아온 DNA가 여기서 이어진다는 느낌이 든다.

• 강점:
  – 멀티모달 처리: 텍스트 외에 이미지·영상 자료 분석이 자연스럽다.
  – 구글 서비스 연동: Gmail 초안 작성, Google Docs 요약, YouTube 내용 정리 등 구글 생태계 안에서 생산성 도구로 쓰기 좋다.
  – 실시간 정보 접근: 구글 검색 엔진과 붙어 있어서 최신 뉴스나 데이터 접근이 빠르다.
• 특징: Nano, Pro, Ultra 세 버전으로 나뉘어 있어서 기기 성능이나 작업 규모에 따라 고를 수 있다. 스마트폰에서 가볍게 쓸 거라면 Nano, 더 깊은 작업이 필요하다면 Pro나 Ultra를 쓰면 된다.

오픈AI 챗GPT: 범용성과 확장 생태계

챗GPT가 LLM의 대중화를 이끌었다는 건 부정하기 어렵다. GPT-4o 기준으로 대화 자연스러움, 응답 속도, 추론 능력이 많이 올라왔다. 근데 챗GPT의 진짜 경쟁력은 확장성이다. 플러그인이나 GPTs 기능으로 나만의 챗봇을 만들거나 특정 업무를 자동화할 수 있다는 게 핵심 매력인데요.

• 강점:
  – 범용성: 글쓰기, 요약, 번역, 코딩 보조 등 뭘 갖다 던져도 웬만하면 해낸다.
  – 확장성: 플러그인과 GPTs를 통해 기능을 늘릴 수 있어서 특정 업무 자동화에 효과적이다.
  – 커뮤니티: 사용자가 많다는 건 활용 사례와 프롬프트 팁이 온라인에 넘친다는 의미다. 막히면 검색하면 나온다.
• 특징: 오픈AI의 API가 수많은 서비스와 앱에 녹아들어 있어서, 모르는 새에 챗GPT 엔진을 쓰고 있는 경우도 많다. 개발자라면 이쪽 생태계가 익숙한 게 사실이고.

앤트로픽 클로드: 긴 문서 처리와 안전한 답변

클로드는 ‘헌법적 AI(Constitutional AI)’라는 철학을 내세운 앤트로픽이 만든 모델이다. 쉽게 말하면 해로운 답변을 생성하지 않도록 설계 단계에서 규칙을 박아놓은 거다. 기업 환경에서 민감한 자료를 다룰 때 선호되는 이유가 여기에 있다.

솔직히 클로드의 가장 확실한 경쟁력은 컨텍스트 윈도우다. 수만에서 수십만 토큰 분량의 문서를 한 번에 넣고 분석하는 게 실제로 된다. 200페이지짜리 보고서 전체를 요약해달라는 작업, 다른 모델에서는 토큰 초과가 나거나 맥락을 놓치는 경우가 많은데 클로드에서는 꽤 잘 처리한다. 이건 좀 인상적이었다.

• 강점:
  – 긴 컨텍스트 처리: 수십만 토큰 분량의 장문 문서를 한 번에 처리하고 분석하는 능력이 뛰어나다.
  – 안전하고 윤리적인 답변: 유해하거나 편향된 내용을 뱉을 가능성이 상대적으로 낮다.
  – 논리적 추론: 복잡한 질문에 일관된 논리로 답변하는 능력이 좋다.
• 특징: 긴 보고서, 논문, 법률 문서를 통째로 처리해야 하는 기업 환경에서 선호되는 경향이 있다. 민감한 정보를 다루는 작업이라면 안전성 측면에서도 선택지가 된다.

상황별 추천: 뭘 쓸지 못 고르겠다면

세 모델 다 잘하는 건 맞다. 범용으로 쓴다면 솔직히 셋 다 비슷하게 느껴질 수도 있다. 차이가 드러나는 건 특정 상황에서다.

• 구글 제미나이가 맞는 경우:
  – 이미지나 영상 자료를 분석하고 싶을 때.
  – Gmail, Google Docs, Google Drive 등 구글 서비스를 매일 쓰는 환경일 때.
  – 최신 뉴스나 실시간 데이터 기반의 리서치 작업이 잦을 때.
• 오픈AI 챗GPT가 맞는 경우:
  – 글쓰기, 코딩 보조, 아이디어 도출 등 뭐든 가리지 않고 범용으로 쓰고 싶을 때.
  – GPTs로 특정 업무를 처리하는 맞춤형 AI 챗봇을 직접 만들고 싶을 때.
  – 외부 서비스와 연동해 AI 기능을 확장하려 할 때 (플러그인 활용).
• 앤트로픽 클로드가 맞는 경우:
  – 긴 보고서, 논문, 법률 문서를 통째로 분석해야 할 때.
  – 기업 내부 자료나 민감한 주제를 다루는 작업에서 편향 없는 답변이 필요할 때.
  – 복잡한 문제에 깊이 있는 논리적 분석이 필요할 때.

결국 하나만 골라야 한다면

어떤 AI가 제일 좋냐고 딱 잘라 말하기는 어렵다. 구글 생태계 안에서 멀티모달 작업을 주로 한다면 구글 제미나이, 이것저것 범용으로 다 쓰거나 확장성이 중요하다면 챗GPT, 긴 문서 분석이나 안전한 답변 생성이 핵심이라면 클로드. 이게 기본 가이드라인이다.

하나에만 묶여 있을 필요는 없다. 처음에 얘기했던 것처럼 챗GPT로 초안 잡고 클로드로 퇴고하는 조합도 실제로 쓸 만하다. MIT Tech Review AI 보도에 의하면 AI 모델들은 계속 빠르게 진화하고 있다. 각 모델의 특장점을 파악해두면 그만큼 꺼내 쓸 수 있는 게 많아진다.

출처: MIT Tech Review AI