어젯밤에 클로드한테 질문 하나를 던졌더니 3초 만에 그럴듯한 답이 나왔다. 근데 그 답이 모델 안에서 어떤 계산을 거쳐 나왔는지, 사실 만든 회사도 속 시원히 설명 못하는 경우가 많다. Anthropic 연구진이 클로드 내부를 들여다보다가 특정 개념을 다루는 ‘숨겨진 공간’ 같은 걸 찾아냈다는 소식이 최근 전해지면서, 이 질문을 다시 떠올리게 됐다. AI는 실제로 어떻게 생각하는 걸까.
LLM을 업무에 쓰다 보면 결국 이 질문과 마주친다. 같은 질문인데 답이 매번 조금씩 다른 이유, 없는 사실을 그럴듯하게 지어내는 이유, 프롬프트를 어떻게 써야 원하는 답이 나오는지. 개발자가 아니어도 핵심만 딱 이해할 수 있게 풀어봤다.
AI를 ‘블랙박스’라 부르는 이유
딥러닝 모델 안에는 숫자(파라미터)가 수십억 개 들어있다. 개발자가 이 숫자를 하나하나 설계하는 게 아니다. 방대한 데이터를 학습시키는 과정에서 숫자들이 알아서 조정된다. 그래서 모델이 왜 이런 답을 냈는지 코드 한 줄로 짚어내기가 힘들다. 전통적인 소프트웨어는 사람이 ‘이 조건이면 이 결과’라는 규칙을 짠다. LLM은 다르다. 규칙 자체가 학습 과정에서 만들어진다. 결과는 보이는데 과정은 안 보인다. 이게 블랙박스 문제다.
토큰과 임베딩 – 글자를 숫자로 바꾸는 과정
AI는 글자를 글자 그대로 읽지 않는다. 문장을 잘게 쪼갠 조각을 토큰이라 부르고, 이 토큰 하나하나가 수백에서 수천 차원짜리 숫자 벡터, 임베딩으로 바뀐다. 이 숫자 공간 안에서는 뜻이 비슷한 단어끼리 가까이 놓인다. ‘고양이’와 ‘강아지’는 가깝고, ‘고양이’와 ‘은행 이자율’은 멀리 떨어진다. 결국 AI가 답을 만드는 과정은 이 벡터를 계속 변형하고 조합하는 작업이다. 겉으로는 문장, 속으로는 좌표 계산. 이게 진짜 정체다.
- 토큰화: 문장을 단어나 부분 단어 단위로 쪼개는 과정
- 임베딩: 각 토큰을 다차원 숫자 벡터로 표현하는 과정
- 어텐션: 문장 내 다른 토큰과의 관계를 계산해 맥락을 반영하는 과정
트랜스포머와 어텐션, 이 정도만 알면 충분하다
요즘 나오는 LLM은 거의 다 트랜스포머 구조를 쓴다. 핵심은 어텐션(attention)이라는 메커니즘. 문장 속 단어 하나가 다른 단어를 얼마나 참고해야 하는지 가중치를 매기는 방식이다. ‘은행에 갔다’라는 문장에서 ‘은행’이 금융기관인지 강가인지, 이건 주변 단어를 봐야 안다. 그 맥락 파악을 어텐션이 담당한다. 이 계산이 수십, 수백 층 쌓이면서 처음엔 단순한 문법만 다루던 모델이 뒤로 갈수록 훨씬 추상적인 관계까지 처리하게 된다.
모델 속에 있다는 ‘개념 공간’, 정체가 뭘까
Anthropic이 진행하는 해석가능성(interpretability) 연구는 이 블랙박스를 열어보려는 시도다. 재미있는 발견 하나. 모델 안 뉴런 하나가 개념 하나만 딱 담당하는 게 아니라, 여러 개념이 뒤섞여서 표현된다는 점이다. 이걸 중첩(superposition)이라 부른다. 연구진은 스파스 오토인코더 같은 기법으로 이 뒤섞인 신호를 풀어내면서, 모델이 코드나 아첨, 특정 도시 같은 구체적 개념을 다루는 내부 패턴을 하나씩 찾아내고 있다. 뇌를 스캔해서 어느 부위가 어떤 생각과 연결되는지 지도를 그리는 작업, 딱 그거랑 비슷하다. 이런 연구가 쌓이면 모델이 왜 특정 답을 내놓는지, 왜 없는 사실을 지어내는지 좀 더 정확히 짚어낼 여지가 생긴다.
없는 사실을 지어내는 이유 – 할루시네이션
LLM은 정답을 ‘찾는’ 게 아니다. 다음에 올 확률이 가장 높은 토큰을 ‘예측’할 뿐이다. 그래서 학습 데이터에 없거나 애매한 질문을 받으면, 그럴듯해 보이는 문장을 이어 붙여서 답을 만들어낸다. 이게 할루시네이션이다. 모델 입장에서 거짓말할 생각은 없다. 확률적으로 제일 자연스러운 다음 단어를 골랐을 뿐인데, 그 결과가 사실과 다를 뿐이다. 요즘 나오는 모델들은 출처를 같이 제시하거나 모른다고 답하도록 학습시켜서 이 문제를 줄이고 있다. 완전히 없애지는 못했다. 솔직히 여기가 아직 갈리는 지점이다.
알고 나면 프롬프트 쓰는 법이 달라진다
내부 작동 원리를 알면 AI를 쓰는 방식도 자연히 바뀐다.
- 맥락을 충분히 줘야 어텐션이 정확한 정보에 집중한다 – 질문만 던지지 말고 배경 정보도 같이 주는 게 낫다
- 애매한 질문일수록 할루시네이션 확률이 올라간다 – 검증 가능한 근거나 문서를 함께 주는 편이 안전하다
- 모델은 ‘이해’보다 ‘패턴 재현’에 가깝다 – 사실 확인이 필요한 작업엔 검색 기능이나 출처 인용을 같이 쓰는 게 낫다
결국 AI를 잘 쓰는 사람과 못 쓰는 사람, 차이는 이 도구가 어떻게 답을 만드는지에 대한 감각에서 갈린다. 확률과 패턴으로 움직이는 도구라는 걸 알고 쓰면, 언제 믿고 언제 검증해야 할지 판단이 훨씬 쉬워진다.
Tech Review AI 뉴스레터가 전한 바에 따르면, 이 내용은 MIT Tech Review AI에서 다뤘다.
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.