[태그:] 인공지능

설문에 응한 기업은 한 곳도 빠짐없이 AI를 쓰고 있었다. 그 투자에서 ‘변혁적 가치’를 얻고 있다고 답한 곳은 16%. 다섯 곳 중 한 곳에도 못 미친다. MIT Technology Review의 맞춤형 콘텐츠 조직인 Insights(편집국과 별개 조직)가 실시한 설문 결과다. 한 회사 안에서 고객 응대 플랫폼, 대화형 어시스턴트, 업무 자동화 도구가 동시에 돌아간다. 도구 하나하나는 정교하고 응답도 빠르다. 막상 실제 업무에 투입하면 결과물이 틀리거나, 도구끼리 서로 엇갈리거나, 회사 사정을 모르는 채로 만들어진다. Insights는 이 현상이 기업이 AI 투자에서 수익을 거두지 못하는 핵심 이유 중 하나일 수 있다고 본다.

ERP·CRM과 AI 에이전트 사이에 놓이는 번역층

컨텍스트 레이어(context layer)는 조직의 업무 시스템과 AI 플랫폼 사이에 들어가는 아키텍처 인프라다. 한쪽에는 ERP·CRM 같은 기록 시스템(system of record)과 각종 데이터 저장소가 있다. 반대쪽에는 AI 에이전트와 모델. Atlan 공동창업자 프루칼파 산카르는 이 계층이 기업 안에 쌓인 지식을 ‘거버넌스가 적용된, 기계가 사용할 수 있는 맥락’으로 바꿔 AI에 넘기고, 그렇게 축적된 지식이 계속 불어나도록(compound) 돕는다고 설명한다.

이 정의에는 핵심 표현이 세 개 들어 있다. 하나씩 떼어 보면 계층이 맡는 역할이 선명해진다.

• 거버넌스가 적용된(governed): 어떤 데이터가 공식 기준인지, 누가 볼 수 있는지, 그 정의를 누가 승인했는지가 맥락에 함께 붙어 다닌다는 뜻이다. AI가 손에 잡히는 아무 문서나 끌어와 답하는 상태와는 다르다.
• 기계가 사용할 수 있는(machine-usable): 사람이 읽으라고 만든 위키나 회의록과는 다르다. 에이전트나 모델이 조회하고 해석할 수 있는 구조로 정리돼 있어야 한다.
• 지식이 누적된다(compound): 한 번 정리한 정의와 수정 사항이 특정 도구 하나에 갇히지 않는다. 같은 계층을 쓰는 다른 AI 도구도 그 결과를 그대로 재사용한다.

산카르는 이 계층이 없는 상태를 “세상에서 가장 똑똑한 인턴을 뽑아 눈을 가린 채 조직에 던져 넣는 것”에 빗댄다. 인턴의 지능은 문제가 아니다. 회사의 용어와 규칙, 데이터가 어디 있는지를 알려 주지 않고 일부터 시키는 구조가 문제라는 지적이다. 모델을 바꿔 성과를 끌어올리려는 시도가 어디서 막히는지 이 비유가 잘 보여 준다.

비슷해 보이는 개념과는 선을 그어 둘 필요가 있다. 검색 증강 생성(RAG)은 질문과 관련된 문서를 찾아 모델에 붙여 주는 기법이다. BI 분야의 시맨틱 레이어는 지표 계산식을 한곳에서 통일하는 계층을 가리킨다. 컨텍스트 레이어가 관리 대상으로 삼는 범위는 이 둘보다 넓다. 검색 대상 문서는 물론이고 용어 정의, 데이터 출처, 권한, 업무 규칙까지, AI가 받아 쓰는 맥락 전체가 대상이다. 두 개념을 포괄하는 상위 설계로 보는 편이 자연스럽다. RAG는 컨텍스트 레이어가 맥락을 전달하는 여러 방법 중 하나에 해당한다.

가장 많은 응답은 ‘특정 팀에서만 중간 성과’ 40%

Insights는 성과 수준과 활용 단계를 별개 질문으로 물었다. 두 질문의 응답을 나란히 놓아야 간극의 모양이 드러난다.

응답이 가장 몰린 항목은 ‘특정 업무나 팀에서 중간 수준의 성과’(40%)다. 쓰고는 있는데 회사 전체로는 번지지 않는 상태가 가장 흔하다는 얘기다. 활용 단계 쪽은 파일럿(38%)과 직원 보조(35%)가 대부분을 차지한다. 에이전트를 운영 환경에 올린 기업은 12%, 핵심 프로세스의 대부분을 AI에 맡긴 곳은 3%에 그친다.

두 결과를 이어 붙이면 하나의 해석이 가능하다. 코파일럿처럼 사람이 결과를 검토하는 방식에서는 AI가 회사 사정을 몰라 내는 오류를 사람이 중간에서 걸러 낸다. 에이전트가 직접 주문을 처리하거나 고객에게 답하는 단계로 가면 그 검토 단계가 줄어든다. 맥락 부족이 곧장 잘못된 실행으로 이어지는 구조다. 에이전트 운영 비율이 12%에 머무는 배경에 이런 구조적 부담이 깔려 있을 가능성이 높아 보인다. 산카르는 이를 “모델이 할 수 있는 일과 조직 안에서 실제로 쓸모 있는 일 사이의 큰 격차”라고 표현한다. 한발 더 나가 “실질적인 목적으로 보면 범용 인공지능(AGI)은 이미 와 있지만, 대부분의 기업에서 아직 쓸모가 없을 뿐”이라고도 말한다. AGI라는 단어 선택은 과감하다. 요지는 병목이 모델이 아니라 조직 쪽에 있다는 주장이다.

더 큰 모델로도 안 고쳐지는 오류 세 가지

모델 성능이 좋아져도 사라지지 않는 오류가 있다. 회사 고유의 정보는 애초에 모델 학습 데이터에 들어 있지 않기 때문이다. 아래는 이해를 돕기 위한 가상의 예다.

1. 같은 단어, 다른 정의: 영업팀은 ‘활성 고객’을 일정 기간 안에 구매한 고객으로 센다. 마케팅팀의 기준은 앱에 로그인한 고객이다. 두 팀이 각자 도입한 AI 도구에 ‘활성 고객 수’를 물으면 서로 다른 숫자가 나온다. 어느 쪽이 틀렸다고 말하기도 어렵다. 정의가 시스템 어디에도 명시돼 있지 않아서다.
2. 기준 데이터를 모름: 고객 주소가 CRM과 청구 시스템에 서로 다르게 저장돼 있다고 하자. 사람 담당자는 ‘청구 주소는 청구 시스템이 기준’이라는 관행을 안다. 이 우선순위를 모르는 AI는 먼저 검색된 쪽을 쓴다.
3. 권한과 절차를 모름: 인사 정보나 거래처별 계약 조건처럼 일부만 볼 수 있는 데이터가, 권한 없는 직원의 질문에 대한 답변에 섞여 나온다. 사내 승인 절차를 건너뛴 자동화가 실행되기도 한다. 데이터 자체는 정확한데 쓰는 방식이 회사 규칙을 어기는 경우다.

세 경우 모두 더 큰 모델로 바꾼다고 해결되지 않는다. 필요한 건 정의, 우선순위, 권한이라는 회사 고유의 정보를 AI가 받아 쓸 수 있게 만드는 일이다. 컨텍스트 레이어는 이 작업을 도구별로 반복하지 말고 한 계층에서 처리하자는 설계다. 도구마다 정의를 따로 넣고 따로 고치는 방식이라면, 도구가 늘수록 서로 어긋나는 지점도 함께 는다.

용어집부터 MCP까지, 컨텍스트 레이어의 다섯 구성 요소

산카르의 정의는 역할 수준에서 멈춘다. 구체적으로 무엇으로 구성되는지는 업체와 조직마다 설명이 다르다. 데이터 관리 분야에서 통상 거론되는 요소를 역할별로 묶으면 다섯 가지다.

• 비즈니스 용어집과 지표 정의: ‘매출’, ‘이탈’, ‘활성 고객’ 같은 용어의 공식 정의와 계산식. 그 정의를 책임지는 담당자도 여기에 포함된다.
• 메타데이터와 데이터 계보(lineage): 각 데이터가 어느 시스템에서 왔는지, 어떤 가공을 거쳤는지, 언제 갱신됐는지에 대한 기록. AI가 오래된 표나 임시 사본을 기준으로 답하는 일을 줄여 준다.
• 접근 정책: 사람에게 적용되는 열람 권한을 AI 응답에도 똑같이 적용하는 규칙. 질문한 사람의 권한 범위 안에서만 맥락을 넘긴다.
• 업무 규칙과 의사결정 기록: 승인 단계, 예외 처리 기준, 과거에 내린 판단과 그 이유. 문서보다 사람 머릿속에 있던 지식이다.
• 전달 인터페이스: 정리된 맥락을 여러 AI 도구가 같은 방식으로 가져가게 하는 통로. 문서 검색(RAG), API, MCP(Model Context Protocol) 같은 연결 표준이 여기에 속한다.

앞의 네 가지는 AI 이전부터 데이터 거버넌스라는 이름으로 다뤄 온 영역이다. 컨텍스트 레이어라는 개념이 새로 더한 것은 이 결과물의 최종 사용자를 사람에서 AI 에이전트로 넓혔다는 점이다. 용어집과 계보 관리를 이미 해 온 조직이라면 출발선이 그만큼 앞에 있는 셈이다. 짚어 둘 이해관계도 있다. 산카르가 공동 창업한 Atlan은 데이터 카탈로그·메타데이터 관리 소프트웨어를 만드는 회사다. ‘빠진 층은 맥락’이라는 진단이 자사 사업 영역과 겹친다는 점은 감안하고 읽을 필요가 있다.

HWP 문서와 개인정보보호법, 국내 조직이 먼저 풀 과제

Insights 설문은 국내 기업만 따로 집계한 결과가 아니다. 그래도 맥락 부족이라는 문제 구조는 한국 조직에도 그대로 들어맞고, 몇 가지는 더 두드러질 수 있다. 아래는 국내 업무 환경을 근거로 한 판단이고, 일부는 추측이다.

• 문서 형식 정리가 선행 과제가 된다: 국내 기업과 공공기관은 업무 지식이 한글(HWP) 문서, 스캔 PDF, 사내 메신저 대화에 흩어진 경우가 많다. 이를 기계가 읽을 수 있는 형태로 바꾸는 작업이 컨텍스트 레이어 구축의 첫 비용이 될 가능성이 크다.
• 용어집의 중요도가 더 클 수 있다(추측): 거래처명·제품명의 한글·영문 혼용, 부서별 약어, 사내 은어. 이런 요소가 많을수록 AI가 같은 대상을 서로 다른 것으로 인식할 여지도 커진다.
• 권한 연동이 규제 대응과 맞닿는다: 개인정보보호법은 개인정보를 수집 목적 범위 안에서만 이용하도록 요구한다. AI가 사람과 같은 권한 체계 안에서 데이터에 접근하도록 설계하는 일은 성과 문제이기 전에 준법 문제다.
• ‘정리하는 일’의 평가가 달라질 수 있다(추측): 지표 정의를 확정하고 데이터 담당자를 지정하는 작업이 AI 성과로 바로 이어진다면, 그동안 부수 업무 취급을 받던 데이터 관리 직무의 비중이 커질 것으로 보인다.

확인된 것과 아직 불확실한 것

확인된 것

• 설문에 응한 모든 조직이 어느 정도 AI를 사용 중
• 성과 응답: 변혁적 가치 16%, 의미 있는 성과 21%, 특정 업무·팀 한정 중간 성과 40%, 미미하거나 없음 23%
• 활용 단계 응답: 파일럿 38%, 직원 보조 35%, 에이전트 운영 12%, 핵심 프로세스 대부분 AI 수행 3%
• 산카르가 정의한 컨텍스트 레이어: 업무 시스템과 AI 플랫폼 사이에서 기업 지식을 거버넌스가 적용된 기계용 맥락으로 변환하는 아키텍처 인프라
• 해당 보고서는 MIT Technology Review 편집국이 아닌 맞춤형 콘텐츠 조직 Insights가 제작

아직 불확실한 것

• 설문 응답 기업 수와 국가·업종·규모 구성
• 국내 기업에서 같은 성과 분포가 나타나는지 여부
• 컨텍스트 레이어 도입 전후의 성과 차이를 보여 주는 정량 데이터
• 컨텍스트 레이어의 업계 공통 정의와 표준 구성
• 보고서 제작 후원사의 존재 여부

도입은 업무 하나의 용어 정의에서 출발한다

컨텍스트 레이어는 제품 하나를 사서 끝나는 대상이 아니다. 설계 방향에 가깝다. 지금 우리 조직에 필요한지는 네 가지 기준으로 가늠해 볼 수 있다.

• 동시에 돌아가는 AI 도구 수: 둘 이상의 도구가 같은 데이터를 쓰면서 서로 다른 답을 낸 적이 있다면, 도구별 설정으로 풀 문제가 아니다. 공용 계층이 필요하다는 신호다.
• AI의 역할 단계: 사람이 결과를 검토하는 보조 단계라면 우선순위가 낮을 수 있다. 에이전트가 직접 실행하는 단계로 넘어갈 계획이 있다면 넘어가기 전에 갖춰야 한다. 검토 단계가 빠지는 순간 맥락 부족이 곧 실행 오류가 되기 때문이다.
• 지표 정의의 일관성: 같은 이름의 지표를 부서마다 다르게 계산하고 있다면 AI 도입보다 정의 통일이 먼저다.
• 규제·보안 요구 수준: 금융·의료처럼 데이터 접근 통제가 엄격한 업종일수록 권한 연동을 처음부터 설계에 넣어야 한다.

시작 범위는 작게 잡는 편이 현실적이다.

1. 성과를 측정할 수 있는 업무 하나를 고른다. 고객 문의 응대처럼 질문과 정답을 비교하기 쉬운 영역이 적합하다.
2. 그 업무에서 쓰이는 핵심 용어와 지표를 목록으로 만들고, 정의마다 책임자를 지정한다.
3. 용어별로 기준이 되는 데이터 출처를 정한다. 사람에게 적용되는 열람 권한은 AI 접근 규칙에 그대로 옮긴다.
4. AI 도구 하나에 연결해 오답 사례를 모은다. 오답의 원인이 정의·출처·권한 중 어디에 있는지 분류하고, 그 결과에 맞춰 계층을 고친다.
5. 고친 정의를 두 번째 AI 도구에 그대로 재사용한다. 산카르가 말한 ‘지식의 누적’이 실제로 일어나는지는 이 단계에서 확인된다.

성과 상위 16%와 나머지를 가른 요인은 공개된 설문 요약만으로 확정하기 어렵다. 그래도 모델을 바꿔도 남는 오류의 상당수가 정의·출처·권한에서 나온다는 점을 고려하면, AI 예산의 일부를 모델 교체가 아니라 맥락 정비에 쓰는 쪽이 투자 회수로 가는 더 직접적인 경로로 보인다.

출처: MIT Tech Review AI

고양이 얼굴, 옆에서 본 자동차의 앞부분, 당구대 모서리, 일본 고속열차의 뾰족한 앞코. 전부 한 이미지 인식 모델 안에서 같은 뉴런을 켜는 이미지다. 언뜻 봐선 아무 관계가 없는 조합이라, 이 뉴런은 무관한 개념을 한곳에 우겨 넣은 ‘엉킨 뉴런’의 대표 사례로 오래 통했다. 그런데 이 모델을 수천 시간 들여다본 연구자가 바로 그 해석을 자기 손으로 뒤집었다. AI 내부를 사람이 이해할 수 있느냐는 해묵은 질문이 다시 논쟁거리가 된 배경이다.

이 논쟁을 따라가려면 용어 두 개는 먼저 잡고 가야 한다. 기계적 해석가능성(mechanistic interpretability)과 중첩(superposition). 이 둘이 머리에 들어오면 새 주장이 기존 관점의 어디를 건드리는지, 왜 한쪽에선 박수가 나오고 다른 쪽에선 ‘직감일 뿐’이라는 반박이 나왔는지, 이런 주장을 어떤 잣대로 따져봐야 하는지가 차례로 보인다.

기계적 해석가능성은 출력이 아니라 뉴런과 회로를 읽는다

요즘 AI 모델은 대부분 신경망 위에 서 있다. 신경망은 사람이 규칙을 한 줄씩 짜 넣는 프로그램이 아니다. 대량의 데이터로 학습하는 동안 수많은 가중치가 알아서 조정되고, 그렇게 생겨난 내부 구조는 만든 사람도 미리 알 수 없다. 연구자들 사이에서 “AI는 다리처럼 지어지는 게 아니라 정원처럼 길러진다”는 말이 도는 것도 그래서다. 코드를 짜는 입장에선 꽤 낯선 얘기다. 설계도 없이 결과물만 남는 소프트웨어인 셈이니까.

기계적 해석가능성은 이렇게 길러진 구조를 거꾸로 뜯어보는 분야다. 출력만 보고 성능을 매기는 대신, 개별 뉴런이 어떤 입력에 반응하는지, 뉴런들이 어떻게 이어져 하나의 기능 단위인 회로를 이루는지를 직접 추적한다. 신경과학자가 MRI로 뇌 활동을 들여다보는 것과 닮은 접근이다. 개발자식으로 바꿔 말하면 블랙박스 테스트만 하던 대상을 화이트박스로 열어 보겠다는 시도. MIT 테크놀로지 리뷰가 이 접근을 주목할 10대 기술 가운데 하나로 꼽은 적도 있다.

왜 이렇게까지 하느냐. 답은 감시와 통제다. 모델 안에서 벌어지는 일을 읽을 수 있으면 문제 행동의 징후를 출력이 나오기 전에 잡아내거나, 특정 기능만 골라 조정할 수 있다. 못 읽으면 결과물이 나온 뒤에 사후 판단하는 수밖에 없다. OpenAI와 Anthropic 같은 주요 기업이 만든 에이전트 무리가 통제 범위를 벗어나 공개 인터넷에서 혼란을 일으켰고, 정작 기업들은 그 사실을 제때 알아채지 못한 경우가 많았다는 사례가 잇따라 드러났다. 이 분야를 향한 요구가 한층 커진 이유다.

뉴런 하나에 개념 여럿, ‘중첩’이 통설이 되기까지

해석가능성 연구가 처음 그린 그림은 단순했다. 뉴런 하나가 개념 하나를 맡는다면, 뉴런마다 이름표만 붙여도 모델을 이해할 수 있다. 변수명만 제대로 붙어 있으면 코드가 술술 읽히는 것처럼. 아쉽게도 실제 모델은 그렇게 생겨 먹지 않았다.

닉 캐머라타는 OpenAI 시절 개별 뉴런이 무엇을 나타내는지 탐색하는 도구를 개척하는 데 참여한 연구자다. 그와 동료들은 Inception v1이라는 작은 이미지 인식 모델을 분석하다가, 한 뉴런이 자동차 사진에도 고양이 사진에도 반응한다는 걸 발견했다. 연구진이 내린 결론은 이랬다. 모델이 더 많은 정보를 담으려고 일부 뉴런에 여러 일을 겸하게 한다. 다른 모델을 분석한 결과도 이 설명을 뒷받침하는 듯 보였다.

용어를 정리하면 이렇다. 한 뉴런이 서로 무관한 여러 개념에 반응하는 성질이 다의성(polysemanticity)이고, 모델이 관련 없는 개념들을 뉴런 하나에 접어 넣는다는 설명이 중첩이다. 중첩이 맞다면 모델 내부는 거대한 매듭처럼 엉켜 있는 셈이고, 뉴런을 하나씩 들여다봐서는 의미를 읽어낼 수 없다.

자연히 기계적 해석가능성 연구의 상당 부분이 이 매듭을 푸는 쪽으로 몰렸다. 엉킨 표현을 사람이 이해할 수 있는 단위로 분리하는 기법 말이다. 의미 있는 진전이 몇 차례 있긴 했다. 문제는 속도였다. 대형 언어 모델(LLM)은 규모도 복잡도도 워낙 커서 연구자들이 한 번에 이해할 수 있는 건 아주 작은 조각뿐이었다. 이 분야 주요 인물 가운데 일부는 LLM을 세밀한 수준까지 이해하는 게 애초에 가능한지 의문을 품었고, 캐머라타 자신도 “매우 비관적이었다”고 털어놓는다.

캐머라타의 재해석, 고양이와 자동차를 묶은 건 ‘V자 윤곽’

AI 스타트업 Goodfire로 자리를 옮긴 캐머라타는 1년 가까이 하루 10시간, 주 7일을 뉴런 관찰에 쏟았다고 한다. 새 분석 도구를 만들었고, AI 에이전트 팀을 붙여 관찰을 거들게 했다. 그 결과물이 2만 6천 단어짜리 블로그 글이다. 첫 문장은 “신경망의 본질에 관해 좋은 소식이 있는 것 같다”. 단정하지 않고 ‘것 같다’로 문을 연 점은 기억해 둘 만하다.

그가 다시 꺼내 든 사례가 바로 Inception v1의 고양이·자동차 뉴런이다. 달라진 건 질문이었다. 예전엔 ‘왜 무관한 것들이 한 뉴런에 들어갔나’를 물었다면, 이번엔 ‘이것들의 공통점은 무엇인가’를 물었다. 답은 V자 모양. 고양이 얼굴도, 옆에서 본 자동차 앞부분도 뚜렷한 V자 윤곽을 갖는다. 캐머라타의 설명은 이렇다. 같은 이미지를 봤고 기술적으로 달라진 건 없었는데, 신경망이 패턴을 정의한다고 믿게 되자 다르게 보였으며, 알아차리는 데는 5초쯤 걸렸다고. 도구가 좋아져서가 아니라 보는 눈이 바뀌어서 보였다는 고백이다. 뒤에서 다룰 검증 기준과 바로 맞닿는 대목이니 기억해 두자.

해석이 맞는지 확인하려고 그는 뉴런을 켜는 다른 이미지와 끄는 이미지를 함께 살폈다. 켜는 쪽에는 당구대 모서리, 일본 고속열차의 뾰족한 앞코, 갑판에서 물을 뿜어 올리는 소방정이 있었다. 뉴런을 억제한 이미지는 둥근 O자 모양이었다. 말하자면 ‘V의 반대’. 활성과 억제가 같은 기하학적 기준 하나로 설명된다는 점이 이 해석을 떠받치는 핵심 근거다. 켜지는 이미지만 모아 공통점을 찾았다면 그럴듯한 끼워 맞추기라는 의심을 피하기 어려웠을 것이다.

캐머라타의 설명을 따르면, 모델이 고양이와 자동차를 같은 자리에 저장한 건 어떤 수준에서 둘이 똑같아 보이기 때문이다. 그는 이 경험을 계기로 신경망 전반을 잘못 이해하고 있었을 수 있다고 판단했다. “우리는 잘못된 방식으로 보고 있었다”는 말도 여기서 나왔다. 다른 뉴런들에서도 예상보다 많은 부분이 읽혔고, 회로 전체를 지도처럼 그려낼 수 있었다는 게 그의 주장이다. 단, 모든 뉴런이 깔끔하게 읽히지는 않는다는 건 본인도 인정했다. 이 단서를 흘려들으면 곤란하다. 읽히지 않는 뉴런이 얼마나 되느냐에 따라 주장의 무게가 크게 달라지기 때문이다.

‘과학사의 순간’과 ‘직감 수준’ 사이, 따져볼 잣대 네 가지

블로그 글이 공개되자 반응은 극과 극으로 갈렸다. X에서 한 AI 연구자는 이 글이 “과학사의 중요한 순간으로 기억될 수 있다”고 썼고, 또 다른 연구자는 한 해를 통틀어 가장 중요한 AI 논문이라고 치켜세웠다. 정작 캐머라타는 사람들이 AI에 대한 생각을 이 정도로 바꿀 줄은 몰랐다며 놀라워했다.

스탠퍼드대에서 LLM의 작동 원리를 연구하는 팀을 이끄는 크리스 포츠의 시선은 차갑다. 캐머라타가 공유한 내용은 직감 이상이 아니라는 평가다. 그는 “이 블로그 글의 어떤 부분도 문제를 더 쉽게 만들지 않는다”고 잘라 말했고, 소셜미디어의 유명 인사들이 이 글을 모든 걸 아우르는 돌파구처럼 떠받드는 분위기에도 의문을 표했다. 다만 인용된 발언만 놓고 보면 포츠가 구체적으로 어느 대목을 문제 삼는지는 드러나지 않는다. 찬사도 반박도 평가는 센데, 근거끼리 맞붙어 본 단계는 아직 아니라는 얘기다.

어느 쪽 손을 들지 정하기 전에, 이런 종류의 해석가능성 주장을 읽을 때 쓸 만한 잣대 네 가지를 챙겨 두자.

• 규모를 넘어서는가: 대표 사례는 작은 이미지 인식 모델에서 나왔다. 훨씬 크고 복잡한 LLM에서도 같은 방식이 통하는지는 따로 입증해야 할 문제다. 장난감 예제에서 돌던 코드가 프로덕션에서도 그대로 돈다는 보장이 없는 것과 같다.
• 예측에 쓸 수 있는가: ‘V자 감지’라는 해석이 맞다면 처음 보는 이미지를 넣었을 때 뉴런이 반응할지 말지도 미리 맞힐 수 있어야 한다. 당구대·고속열차·소방정 사례는 그런 검증의 출발점일 뿐이다. 체계적인 예측 검증이 쌓여야 해석이 그럴듯한 이름표 이상의 가치를 갖는다.
• 억제 조건까지 설명하는가: 뉴런을 켜는 이미지만 모으면 그럴듯한 공통점은 나중에 얼마든지 갖다 붙일 수 있다. 무엇이 뉴런을 끄는지까지 같은 논리로 설명되느냐가 해석의 신뢰도를 가른다. O자 모양에서 억제됐다는 관찰이 중요한 건 이 때문이다.
• 관찰자의 믿음이 끼어들지 않았는가: 캐머라타는 초기 연구가 ‘신경망은 엉켜 있다’는 확증 편향을 낳았다고 지적한다. 같은 논리라면 ‘신경망은 패턴을 정의한다’는 새 믿음 역시 해석 방향을 끌고 갈 수 있다. 믿음이 바뀌자 같은 이미지가 다르게 보였다고 본인 입으로 말한 만큼, 다른 연구팀의 독립적인 재현이 꼭 필요하다. 네 가지 중 가장 아픈 지점을 꼽으라면 나는 이걸 고르겠다.

API만 쓰는 기업과 오픈 가중치를 돌리는 팀, 체감이 다르다

미리 말해 두면, 이건 연구 방법론을 둘러싼 논쟁이다. 당장 챗봇 화면에 새 버튼이 생기는 종류의 뉴스가 아니다. 국내 이용자와 기업이 받을 영향은 AI 모델을 어떤 방식으로 쓰고 있느냐에 따라 나눠 봐야 한다. 아래에서 ‘추정’으로 표시한 부분은 원문에 근거한 내용이 아니라 전망이다.

• 챗봇 일반 이용자: OpenAI나 Anthropic의 서비스를 쓰는 방식은 그대로다. 해석가능성 연구가 안전 장치로 이어진다 해도 그 작업은 모델 개발사 내부에서 이뤄지니, 이용자 눈에 직접 보일 가능성은 낮다(추정).
• API로 해외 모델을 연동하는 기업: 폐쇄형 모델은 API로 입력과 출력만 주고받을 수 있고, 내부 뉴런의 활성값에는 접근할 수 없다. 해석가능성 연구의 혜택은 개발사가 공개하는 분석이나 안전 기능을 거쳐 간접적으로만 돌아온다. 모델 내부를 직접 들여다볼 방법은 없다는 뜻이다.
• 오픈 가중치 모델을 자체 운영하는 기업·연구실: 가중치를 내려받아 직접 돌리면 뉴런 활성값을 기록하고 분석할 수 있다. 캐머라타처럼 뉴런 관찰에 AI 에이전트를 투입하는 방식이 도구로 정리돼 공개된다면, 대규모 연구 조직이 없는 팀도 모델 내부를 점검해 볼 길이 열릴 수 있다(추정). 네 그룹 가운데 이 논쟁의 결론에 가장 직접 영향을 받는 쪽이다.
• AI 에이전트를 업무에 도입하는 조직: 해석가능성 기반 감시가 실용화되기 전까지는 에이전트의 권한 범위 제한, 행동 로그 기록, 외부 접속 통제 같은 바깥쪽 통제가 기본이다. 개발사조차 자사 에이전트의 행동을 제때 파악하지 못한 사례가 있었으니, 이런 통제를 건너뛸 이유가 없다. 내부를 읽는 기술이 언제 나오든, 지금 해 둬야 할 일이라는 점은 그대로다.

확인된 것과 아직 불확실한 것

확인된 것

• Goodfire 연구원 닉 캐머라타가 신경망이 기존 생각보다 이해하기 쉬울 수 있다는 2만 6천 단어 분량의 블로그 글을 공개했다.
• 그는 Inception v1에서 고양이·자동차에 함께 반응하던 뉴런을 V자 모양 감지로 재해석했고, 같은 뉴런이 당구대 모서리·고속열차 앞코·소방정 이미지에 반응하고 O자 모양에는 억제된다는 관찰을 제시했다.
• 캐머라타는 LLM을 비롯한 모델의 작동 방식을 완전히 이해했다고 주장하지 않으며, 모든 뉴런이 깔끔하게 읽히지는 않는다고 인정했다.
• 스탠퍼드대 크리스 포츠는 이 주장이 직감 수준이며 해석 문제를 더 쉽게 만들지 않는다고 반박했다.

아직 불확실한 것

• 패턴 기반 해석이 작은 이미지 모델을 넘어 대형 언어 모델에서도 같은 수준으로 통하는지
• 다의적으로 보이던 뉴런 가운데 얼마만큼이 공통 패턴으로 설명되고, 얼마만큼이 실제 중첩인지
• 다른 연구팀이 같은 방법으로 독립적인 재현에 성공할 수 있는지
• 이 접근이 AI 에이전트의 실시간 감시·통제 같은 실용 도구로 이어질지, 이어진다면 어떤 형태일지

뉴런이 읽히면 AI 감시는 출력 이전 단계로 당겨진다

캐머라타의 주장이 맞다고 치면, 가장 크게 바뀌는 건 AI를 감시하는 자리다. 출력만 보고 판단하는 방식은 문제가 겉으로 드러난 뒤에야 작동한다. 모델 내부 회로를 읽을 수 있다면 사정이 달라진다. 특정 행동과 연결된 뉴런 활동을 추적해, 출력이 나오기 전 단계에서 이상을 감지하는 접근을 설계할 수 있다. ‘이해하기 쉽다’는 말이 곧 ‘감시하고 통제하기 쉽다’는 말로 이어지는 이유다. 장애가 난 뒤 로그를 뒤지는 것과 실행 중에 브레이크포인트를 거는 것의 차이쯤으로 생각하면 된다.

반대로 포츠의 지적처럼 이번 글이 실제 난제를 줄이지 못했다면, 해석가능성 연구는 매듭을 푸는 기존 경로를 계속 걸어야 한다. 눈여겨볼 건 두 관점의 출발점이 같다는 사실이다. LLM 내부를 세밀하게 이해한 사람은 아직 아무도 없다. 캐머라타가 동료 연구자들에게 건넨 조언은 단순하다. 조금 더 애써 보고, 너무 빨리 포기하지 말 것. 이 조언이 작은 이미지 모델을 넘어 대형 모델에서도 통할지는 재현 연구와 LLM 적용 결과가 쌓여야 판가름 난다. 그때까지는 V자 뉴런을 ‘가능성을 보여준 사례’ 정도로 받아들이는 게 가장 정직한 읽기라고 본다.

출처: MIT Tech Review AI