소식

구글 딥마인드의 지니(Genie) 3, 엔비디아 코스모스(Cosmos), 페이페이 리가 차린 월드랩스(World Labs). 이름은 다 다른데 회사들이 만드는 건 결국 하나, 월드모델이다. 챗GPT나 클로드 같은 언어모델은 이제 다들 안다. 그럼 월드모델은 뭐고, 빅테크들이 왜 이렇게 몰려드는 걸까.

월드모델이 뭐길래 다들 얘기할까

말 그대로다. 세상이 돌아가는 방식을 통째로 학습한 AI. 언어모델이 다음 단어를 맞히도록 훈련받는다면, 이쪽은 다음 장면, 다음 물리 상황을 맞히도록 훈련받는다. 공을 굴리면 어디로 튕길지, 문을 밀면 어떻게 열릴지. 이런 걸 데이터로 익힌다. 재료부터 다르다. 텍스트가 아니라 영상, 3D 공간, 물리 법칙.

LLM과 뭐가 다른가

언어모델은 텍스트를 산더미처럼 읽고 그럴듯한 문장을 뽑아내는 데는 확실히 강하다. 문제는 실제 세계를 겪어본 적이 없다는 것. 컵을 놓으면 떨어진다, 이런 물리적 감각이 약하다. 얀 르쿤이 메타를 나와 새 회사를 차리면서 든 이유도 딱 이거였다. 언어만 붙잡고 있어서는 진짜 지능에 못 닿는다, 시각과 공간과 물리를 이해하는 별도 모델이 필요하다는 얘기다. 그러니 월드모델은 LLM을 밀어내는 쪽이라기보다, LLM이 못 채우는 구멍을 메우는 쪽에 가깝다.

대표 사례들, 어디까지 왔나

• 구글 딥마인드 지니 시리즈 — 이미지 딱 한 장 던져주면 그 안에서 실제로 걸어 다닐 수 있는 3D 공간을 그 자리에서 만들어낸다
• 엔비디아 코스모스 — 로봇과 자율주행차 훈련용 가상 환경을 대량으로 찍어내는 플랫폼
• 월드랩스 — 사진 한 장을 탐험 가능한 3D 세계로 바꾸는 데모로 이름을 알렸다

세 회사 방향은 조금씩 다르다. 그런데 목표는 결국 하나로 모인다. AI가 눈으로 본 걸 진짜 공간처럼 이해하게 만드는 것.

자율주행이 이걸 왜 필요로 하나

도로 위에서 벌어질 수 있는 경우의 수, 그걸 실제 주행만으로 다 배우기는 어렵다. 사고 직전 상황, 폭우 속 급정거. 이런 장면을 현실에서 무한정 반복 테스트할 순 없는 노릇이다. 월드모델은 이런 희귀 상황을 가상으로 수없이 찍어내 차량 AI에게 미리 겪게 한다. 테슬라나 웨이모가 시뮬레이션 데이터에 공을 들이는 이유, 여기 있다. 실제 도로 데이터만으로는 늘 부족하니까.

로봇 훈련에서도 필수템이 된 이유

휴머노이드 로봇을 훈련시키려면 물건 집기, 문 열기, 계단 오르기를 수없이 반복해야 한다. 실제 로봇으로 이 과정을 다 거치려면 시간도 돈도 감당이 안 된다. 월드모델은 이런 물리적 상호작용을 가상 공간에서 먼저 시뮬레이션해서, 로봇이 현실에 나오기 전에 어느 정도 손에 익은 상태로 만들어준다. 피지컬 AI라는 말이 요즘 부쩍 자주 들리는 배경에도 이 기술이 깔려 있다.

게임과 영상 업계가 눈독 들이는 지점

게임 개발사 입장에서 맵과 배경을 일일이 손으로 그리는 작업, 비용이 만만치 않다. 월드모델을 쓰면 텍스트나 이미지 몇 개로 플레이 가능한 배경을 그 자리에서 뽑아낼 수 있다. 영화나 광고 쪽에서도 가상 세트장을 이 기술로 만들려는 시도가 이어지고 있다. 완성도는 아직 초기 단계다. 솔직히 여기서 갈린다. 하지만 제작 기간을 크게 줄일 여지가 있다 보니 관련 스타트업 투자는 꾸준히 늘어나는 중이다.

결국 뭐가 달라지나

언어모델이 정보를 다루는 방식을 바꿔놨다면, 월드모델은 AI가 공간과 물리를 다루는 방식을 바꾸는 중이다. 아직은 로봇공학이나 자율주행처럼 전문 영역에서 먼저 쓰이지만, 게임이나 영상 제작 도구에도 조금씩 스며들고 있다. 당장 검색창에 이름을 쳐볼 일은 적어도, 뒤에서 돌아가는 기술이라는 점은 기억해둘 만하다. 이후 어떤 회사의 로봇이나 자율주행차가 유독 자연스럽게 움직인다 싶으면, 그 뒤에 괜찮은 월드모델이 있다고 봐도 크게 틀리지 않는다.

MIT 테크리뷰 AI 뉴스레터가 다룬 내용을 참고했다: MIT Tech Review AI

챗GPT나 클로드한테 “왜 그렇게 답했어?”라고 물으면 이유가 술술 나온다. 그럴듯하다. 문제는 그 설명이 모델 속에서 실제로 벌어진 계산과 똑같다는 보장이 하나도 없다는 거다. 겉으로 하는 말과 안에서 도는 연산, 이 둘이 다를 수 있다는 간극. 이걸 파고드는 분야가 바로 AI 해석가능성(interpretability)이다. 요즘 AI 안전 얘기만 나오면 계속 등장하는 개념이라, 한 번 제대로 짚고 넘어가 본다.

AI 해석가능성, 정확히 뭘 말하는 걸까

해석가능성은 AI 모델이 왜 그런 출력을 내놓았는지 내부 구조를 뜯어보고 설명하는 작업이다. 대형언어모델은 수천억 개의 파라미터가 얽혀서 결과를 만들어낸다. 개발자조차 특정 답변이 어떤 뉴런 조합에서 나왔는지 정확히 모른다. 그래서 연구자들은 모델의 활성화 값을 조작하거나 특정 개념을 인위적으로 주입해서, 모델이 자기 내부 변화를 실제로 알아채는지 실험한다. 말하자면 뇌를 열어보지 않고 뇌 속 신호를 추적하는 셈이다.

블랙박스는 왜 생기나

옛날 소프트웨어는 코드 한 줄 한 줄을 따라가면 왜 이런 결과가 나왔는지 설명이 됐다. 딥러닝은 다르다. 학습 과정에서 스스로 패턴을 찾아낸다. 개발자가 규칙을 일일이 짜 넣은 게 아니라는 얘기다. 그 결과 이런 일이 반복된다.

• 모델이 내놓은 근거 설명(chain-of-thought)이 실제 추론 과정과 다를 수 있다
• 같은 질문인데 프롬프트 문구만 바뀌어도 답이 흔들린다
• 왜 틀렸는지 사후에 분석하기가 거의 불가능한 경우가 많다

단순한 호기심 차원 문제였으면 이렇게까지 논란이 되지 않았을 거다. 의료, 금융, 법률처럼 책임 소재가 걸린 영역에 AI를 넣으려면 결정 과정을 설명할 수 있어야 한다. 그게 안 되면, 소송 걸렸을 때 “몰라요, AI가 그랬어요”로는 안 통한다.

“자기 상태를 안다”는 실험, 무슨 뜻일까

최근 실험들은 방식이 재밌다. 모델의 내부 활성화 값에 특정 개념(단어나 감정 관련 패턴 같은 거)을 인위적으로 주입한 다음, 모델이 그 변화를 스스로 알아차리고 말로 표현하는지 확인한다. 결과는? 어느 정도는 알아챈다. 근데 성공률이 높지 않고 일관성도 떨어진다. 이 정도면 모델이 자기 내부 상태에 부분적이고 불완전한 접근권만 가지고 있다고 해석하는 게 맞다. 이걸 “AI가 자기 마음을 읽는다”거나 “의식이 있다”는 식으로 부풀리면 오독이다. 솔직히 여기서 갈린다 — 실험 결과 하나 보고 의식 운운하는 기사들, 좀 과한 듯.

자기인식과 의식은 완전히 다른 얘기

모델이 내부 활성화 패턴 일부를 감지해서 언어로 보고할 수 있다는 실험 결과랑, 그 모델이 주관적 경험이나 감정을 갖는다는 주장은 층위 자체가 다르다. 전자는 통계적으로 측정 가능한 신호 탐지 능력이고, 후자는 철학적으로도 합의가 안 된 영역이다. AI 기업들이 이런 연구를 공개하는 이유, 신비주의를 팔려는 게 아니다. 모델이 자기를 얼마나 정확히 보고하는지 알아야 안전장치를 설계할 수 있어서다. 모델의 자기 보고를 100% 믿으면 안 되는 이유가 바로 여기 있다.

해석가능성 연구가 실제로 바꾸는 것들

당장 체감하긴 어렵다. 그래도 이 연구는 이런 방향으로 이어진다.

• 모델이 거짓 정보를 그럴듯하게 지어내는 순간을 내부 신호로 미리 잡아내는 탐지 기술
• 답변에 딸린 추론 과정이 진짜 근거인지, 사후에 지어낸 설명인지 구분하는 검증 도구
• 민감한 작업에 AI를 투입하기 전 위험 신호를 걸러내는 안전 필터

핵심은, 해석가능성이 쌓일수록 AI 규제 논의도 구체적인 근거를 갖게 된다는 점이다. 지금은 “AI가 위험할 수도 있다”는 추상적 우려 수준이다. 내부 작동을 들여다볼 도구가 쌓이면, 그때는 데이터 기반 규제가 가능해진다.

AI 쓰는 사람이 알아둘 점

실용적인 결론은 단순하다. AI가 내놓는 근거나 설명, 진짜 이유가 아니라 그럴듯한 사후 서술일 수 있다고 여기고 쓰는 게 안전하다. 중요한 결정에 AI 답변을 그대로 갖다 쓰기보다 교차 검증하는 습관, 필요하다. AI가 “확신한다”고 말하는 것과 실제 정확도는 별개라는 점도 기억해두자.

Q&A: 이것도 궁금하죠

Q. 해석가능성 연구랑 AI 성능 향상은 관계가 있나?
직접적인 성능 개선보다는 안전성과 신뢰도 확보 쪽에 가깝다. 다만 모델이 왜 실수하는지 알게 되면 학습 데이터나 구조 개선에도 힌트가 된다.

Q. 오픈소스 모델도 해석가능성 연구가 가능한가?
오히려 가중치가 공개된 모델이 내부 구조 분석엔 더 유리하다. 다만 대형 폐쇄형 모델 다루는 기업들이 자체 데이터와 인프라로 더 깊은 실험을 진행하는 경우가 많다.

Q. 이런 연구가 AI 규제와 무슨 상관인가?
내부 작동 방식을 설명 못 하는 시스템을 법으로 규제하기는 어렵다. 해석가능성이 쌓여야 책임 소재와 안전 기준을 구체적으로 정할 근거가 생긴다.

출처: MIT Tech Review AI

신제품 출시 전에 고객 반응부터 확인하고 싶은데, 설문지 돌리면 뻔한 답만 돌아오고 1대1 인터뷰는 시간도 사람도 안 나온다. 마케팅팀이든 프로덕트팀이든 한 번쯤 겪는 고민이다. 최근엔 이 사이 빈틈을 AI 인터뷰 도구가 파고들고 있어서, 각 방식이 정확히 어떻게 다르고 언제 뭘 골라야 하는지 정리해봤다.

설문조사는 왜 늘 뻔한 답만 나올까

객관식 설문의 가장 큰 약점은 응답자가 답을 ‘고른다’는 점이다. 4지선다 앞에서 사람들은 실제 생각보다 ‘이걸 원할 것 같은’ 쪽을 클릭하는 경향이 있다. 통계는 깔끔하게 나오는데, 정작 왜 그 선택을 했는지, 어떤 소수 의견이 숨어있는지는 잡히지 않는다. 표본 크기와 통계적 신뢰도 확보엔 강하지만, 이유를 캐묻는 데는 원래부터 약한 도구다.

1대1 인터뷰가 좋은 건 다 아는데, 왜 안 할까

사람이 직접 진행하는 심층 인터뷰는 꼬리 질문을 던지고 애매한 답에 재차 확인할 수 있어서 정보 밀도가 높다. 문제는 확장성. 리서처 한 명이 하루에 소화하는 인터뷰 수는 뻔하고, 참가자 섭외에 일정 조율, 녹취 정리까지 거치면 결과 하나 받는 데 몇 주씩 걸리는 일도 흔하다. 의사결정은 이미 끝났는데 인사이트가 뒤늦게 도착하는 셈. 실무에서는 종종 ‘타이밍 놓친 자료’로 전락한다.

AI 인터뷰어는 정확히 뭘 하나

AI 기반 리서치 도구는 이 둘의 절충안을 노린다. 작동 방식은 대체로 이렇다.

• 연구 목적을 입력하면 AI가 질문지를 설계해준다
• 영상 통화 형태로 AI가 직접 참가자와 대화하며 꼬리 질문을 던진다
• 수백 명 분량 대화를 몇 시간 안에 취합해 핵심 테마, 하이라이트 영상, 요약 리포트로 정리한다

객관식이 아니라 개방형 질문이라 응답자가 ‘정답 같은 것’을 고르는 대신 실제 생각을 말로 풀어놓는다. 표본 규모는 설문 수준, 답변 밀도는 인터뷰 수준. 이 둘을 동시에 잡겠다는 발상이다.

리서치 데이터에 숨은 가짜 응답 문제

리서치 업계에서 잘 안 알려진 문제가 하나 있다. 응답 품질 자체의 신뢰성이다. 참가자에게 소정의 보상이 걸려있다 보니, 대충 답하거나 아예 허위 프로필로 참여하는 경우가 꽤 섞인다. 실제로 일부 온라인 교육 업체는 기존 설문 응답의 약 20%가 부정확하거나 무성의한 답변으로 판명된 경험이 있다고 밝히기도 했다. 이 때문에 요즘 도구들은 프로필과 영상 답변의 일관성을 대조하고 이상 패턴을 자동으로 걸러내는 품질 검증 기능을 함께 붙이는 추세다. 리서치 도구 고를 때 결과 리포트가 예쁜지만 볼 게 아니라, 이런 검증 장치가 있는지부터 확인하는 게 실무에선 더 쓸모 있다.

리서치가 싸질수록 왜 더 많이 하게 될까

여기서 경제 원리 하나가 등장한다. ‘제본스 역설’. 어떤 자원을 쓰는 효율이 오르면 사용량이 줄어드는 게 아니라 오히려 늘어난다는 개념이다. 리서치도 마찬가지. 인터뷰 하나 진행하는 비용과 시간이 확 줄면, 리서처는 그만큼 더 많은 프로젝트를 돌리고, 원래 리서처가 아니었던 마케터나 프로덕트 매니저까지 직접 고객 조사를 업무에 끌어들인다. 결국 리서치 수요 자체가 폭발적으로 늘어나는 구조가 만들어지는 셈이다.

그래서 우리 팀은 뭘 골라야 하나

선택 기준은 단순하다.

• 정량적 통계, 큰 표본의 신뢰도가 필요하면 설문조사가 여전히 정답에 가깝다
• 극소수 VIP 고객이나 임원 인터뷰처럼 민감하고 깊은 대화가 필요하면 사람이 직접 하는 인터뷰가 낫다
• 빠른 의사결정이 걸려있고 표본도 충분히 확보하면서 답변 맥락까지 알고 싶다면 AI 인터뷰 도구가 가장 실용적이다

신제품 출시 전 컨셉 테스트, 이탈 고객 인터뷰, 브랜드 인지도 조사처럼 ‘빨리 알아야 하는데 깊이도 필요한’ 상황일수록 AI 리서치 도구의 강점이 드러난다. 반대로 학술 연구나 정책 수립처럼 통계적 엄밀함이 최우선인 영역에서는 여전히 전통적인 설문 설계가 필요하다. 이 셋은 경쟁 관계라기보다, 각자 다른 상황에 맞는 도구로 보는 게 맞다.

출처: VentureBeat AI

AI 코딩 에이전트 하나 쓰겠다고 한 달에 20만 원 넘게 내는 개발자, 요즘 심심찮게 보이는데요. 터미널에서 코드를 직접 짜고, 버그를 잡고, 배포까지 알아서 처리해주는 도구니 생산성이야 확실히 올라간다. 문제는 그만큼 청구서도 같이 두꺼워진다는 것. 요금 체계가 복잡한 유료 코딩 에이전트 대신, 돈 한 푼 안 쓰고 비슷하게 돌릴 방법 없나 찾아보는 사람이 많다. 아래에 AI 코딩 에이전트가 정확히 뭘 하는 물건인지부터, 공짜로 쓸 수 있는 오픈소스 대안을 설치하고 세팅하는 법까지 정리해봤다.

AI 코딩 에이전트, 정확히 뭘 해주는 도구인가

흔한 코드 자동완성 도구와는 결이 다르다. 자동완성은 다음 줄에 올 만한 코드를 제안하는 수준에 그치지만, 에이전트는 말로 지시만 내리면 파일을 만들고 테스트를 돌리고 API까지 직접 호출한다. 실제 작업을 스스로 처리한다는 뜻이다. 이게 되는 이유는 ‘툴 콜링(tool calling)’이라는 기술 덕분인데, 언어모델이 텍스트만 뱉는 데서 그치지 않고 외부 시스템에 구체적인 명령을 내릴 수 있도록 설계됐기 때문. 명령줄에서 돌아가는 에이전트형 도구들은 이 방식으로 프로젝트를 통째로 빌드하거나, 에러를 잡아서 스스로 고치는 작업까지 해낸다.

유료 요금제, 왜 이렇게 부담스러운가

대표적인 유료 AI 코딩 에이전트는 월 1만 원대 저가 요금제부터 20만 원대 고가 요금제까지 폭이 넓다. 근데 진짜 문제는 가격이 아니라 사용량 제한이거든요. 저가 플랜은 5시간마다 프롬프트 10~40회로 막아두는 경우가 많아서, 집중해서 몇 번 주고받으면 몇 분 만에 한도가 차버린다. 상위 플랜으로 올라가도 ‘주간 시간 제한’이라는 게 붙는데, 이게 실제 시계 시간이 아니라 토큰 사용량을 환산한 값이라 얼마나 쓸 수 있는지 예측하기가 어렵다는 불만이 꾸준하다. 솔직히 이 정도면 그 값어치 하냐는 소리 나올 만하다. 커뮤니티엔 “30분 만에 하루치 한도 다 썼다”, “실무에 쓰기엔 무리다” 같은 반응이 심심찮게 올라온다.

완전 무료 오픈소스 대안, 뭐가 있나

이런 불만이 쌓이면서 오픈소스 AI 에이전트 쪽으로 눈 돌리는 사람이 늘었다. 결제 회사 블록(Block)이 만든 구스(Goose)가 대표적. GitHub 스타 2만 6천 개를 넘겼고 릴리스도 100회 이상 나왔을 정도로 빠르게 크는 중이다. 가장 큰 차이는 특정 회사 서버가 아니라 내 컴퓨터에서 직접 돌아간다는 점이다. 구스는 특정 모델에 묶여있지 않아서, 앤트로픽 클로드나 OpenAI GPT 계열, 구글 제미나이는 물론 오픈소스 모델까지 자유롭게 붙여서 쓸 수 있다. 완전히 로컬로만 세팅하면 구독료도, 사용량 제한도, 인터넷 연결도 필요 없다. 비행기 안에서도 코딩 에이전트를 그대로 돌릴 수 있다는 얘기다.

로컬 LLM으로 구스 세팅하기, 딱 3단계면 끝

• 1단계, 오픈소스 모델 실행 도구 설치: 내 컴퓨터에서 언어모델을 돌리려면 모델을 내려받고 서빙까지 해줄 도구가 필요하다. 대표적인 게 Ollama. 설치하고 명령어 한 줄만 치면 모델을 받아서 바로 실행할 수 있다. 코딩용으로는 툴 콜링 지원이 잘 되는 모델을 고르는 게 관건이다.
• 2단계, 구스 설치: 데스크톱 앱과 명령줄(CLI) 버전 중 취향껏 고르면 된다. 맥, 윈도우, 리눅스용 바이너리가 공식으로 나와 있어서 설치 자체는 어렵지 않다.
• 3단계, 프로바이더 연결: 구스 설정 메뉴에서 프로바이더를 로컬 모델 실행 도구로 지정하고, 기본 포트 주소를 확인한 뒤 쓸 모델 이름을 입력하면 끝이다. 여기까지만 마치면 구독료 없이 로컬에서 도는 에이전트 완성.

돌리려면 사양이 이 정도는 되어야

로컬로 모델을 돌릴 땐 램(RAM) 용량이 관건이다. 큰 모델에 넉넉한 출력까지 기대한다면 32GB 램을 기본선으로 잡는 게 안전하다. 맥은 통합 메모리가 곧 병목이고, 윈도우나 리눅스에서 그래픽카드를 쓴다면 VRAM 용량이 더 중요해진다. 그렇다고 무조건 큰 모델이 필요한 건 아니다. 파라미터 수가 작은 경량 모델은 16GB 램에서도 충분히 돌아가고, 결과물도 생각보다 쓸 만하다. 처음부터 무리하지 말고 가벼운 모델로 워크플로부터 테스트해본 다음, 필요하면 단계적으로 올리는 편을 추천한다.

유료 vs 무료, 실제로 뭐가 다른가

• 모델 품질: 최상급 상용 모델은 복잡한 코드베이스 이해나 미묘한 지시 해석에서 여전히 앞선다. “세련되게 만들어줘” 같은 애매한 요청에도 맥락을 잘 잡아내는데, 오픈소스 모델은 격차가 좁혀지고 있어도 이런 뉘앙스 처리에서는 아직 밀리는 경우가 있다.
• 컨텍스트 크기: 상용 API는 백만 토큰 단위의 넓은 컨텍스트를 지원해서 대형 코드베이스도 통째로 넣을 수 있다. 로컬 모델은 기본값이 훨씬 작아서 설정을 따로 늘려줘야 하고, 그만큼 메모리와 속도 부담도 늘어난다.
• 처리 속도: 서버용 하드웨어에 최적화된 클라우드 쪽이 일반 노트북에서 도는 로컬 모델보다 응답이 빠르다. 빠르게 주고받으며 코드를 다듬는 작업이라면 체감 차이가 꽤 크다.
• 비용과 보안: 로컬 세팅은 구독료가 아예 없고, 코드가 외부 서버로 나가지 않는다. 사내 코드 유출을 걱정하는 팀엔 이 지점이 꽤 매력적이다.

결국 어떤 걸 써야 할까

고난도 작업 위주로 최상의 결과물이 필요하고 비용 부담이 크지 않다면 상용 에이전트가 여전히 유리하다. 반대로 비용, 오프라인 작업, 코드 보안을 우선시한다면 로컬 오픈소스 조합이 현실적인 대안이 된다. 개인적으로는 간단한 스크립트 작성이나 반복적인 리팩터링 같은 가벼운 작업은 로컬 모델로 충분히 커버되고, 정말 까다로운 아키텍처 설계나 대규모 코드베이스 분석 같은 작업에만 상용 서비스를 아껴 쓰는 하이브리드 방식이 가성비 면에서 낫다고 본다. 오픈소스 모델 성능이 빠르게 올라오는 추세라, 이 격차는 시간이 갈수록 더 좁혀질 여지가 크다.

궁금할 만한 것들 몇 가지

Q. 로컬 모델로도 실무 코드를 짤 수 있나?
간단한 CRUD 기능이나 스크립트, 테스트 코드 작성 정도는 무리 없이 처리한다. 다만 복잡한 아키텍처 설계나 레거시 코드 리팩터링처럼 맥락 이해가 까다로운 작업은 아직 상용 최상위 모델 대비 결과물 편차가 있는 편이다.

Q. 인터넷 없이도 완전히 쓸 수 있나?
모델을 로컬에 미리 내려받아 뒀다면 인터넷 연결 없이도 작동한다. 비행기나 네트워크가 불안정한 환경에서 작업해야 하는 개발자에겐 이 점이 꽤 큰 장점이다.

Q. 그래픽카드가 꼭 있어야 하나?
없어도 실행은 되지만 속도 차이가 크다. CPU만으로 돌리면 응답이 눈에 띄게 느려지니까, 자주 쓸 계획이라면 VRAM이 넉넉한 그래픽카드나 통합 메모리가 큰 맥을 쓰는 게 체감상 훨씬 낫다.

출처: VentureBeat AI