구글 딥마인드의 지니(Genie) 3, 엔비디아 코스모스(Cosmos), 페이페이 리가 차린 월드랩스(World Labs). 이름은 다 다른데 회사들이 만드는 건 결국 하나, 월드모델이다. 챗GPT나 클로드 같은 언어모델은 이제 다들 안다. 그럼 월드모델은 뭐고, 빅테크들이 왜 이렇게 몰려드는 걸까.
월드모델이 뭐길래 다들 얘기할까
말 그대로다. 세상이 돌아가는 방식을 통째로 학습한 AI. 언어모델이 다음 단어를 맞히도록 훈련받는다면, 이쪽은 다음 장면, 다음 물리 상황을 맞히도록 훈련받는다. 공을 굴리면 어디로 튕길지, 문을 밀면 어떻게 열릴지. 이런 걸 데이터로 익힌다. 재료부터 다르다. 텍스트가 아니라 영상, 3D 공간, 물리 법칙.
LLM과 뭐가 다른가
언어모델은 텍스트를 산더미처럼 읽고 그럴듯한 문장을 뽑아내는 데는 확실히 강하다. 문제는 실제 세계를 겪어본 적이 없다는 것. 컵을 놓으면 떨어진다, 이런 물리적 감각이 약하다. 얀 르쿤이 메타를 나와 새 회사를 차리면서 든 이유도 딱 이거였다. 언어만 붙잡고 있어서는 진짜 지능에 못 닿는다, 시각과 공간과 물리를 이해하는 별도 모델이 필요하다는 얘기다. 그러니 월드모델은 LLM을 밀어내는 쪽이라기보다, LLM이 못 채우는 구멍을 메우는 쪽에 가깝다.
대표 사례들, 어디까지 왔나
- 구글 딥마인드 지니 시리즈 — 이미지 딱 한 장 던져주면 그 안에서 실제로 걸어 다닐 수 있는 3D 공간을 그 자리에서 만들어낸다
- 엔비디아 코스모스 — 로봇과 자율주행차 훈련용 가상 환경을 대량으로 찍어내는 플랫폼
- 월드랩스 — 사진 한 장을 탐험 가능한 3D 세계로 바꾸는 데모로 이름을 알렸다
세 회사 방향은 조금씩 다르다. 그런데 목표는 결국 하나로 모인다. AI가 눈으로 본 걸 진짜 공간처럼 이해하게 만드는 것.
자율주행이 이걸 왜 필요로 하나
도로 위에서 벌어질 수 있는 경우의 수, 그걸 실제 주행만으로 다 배우기는 어렵다. 사고 직전 상황, 폭우 속 급정거. 이런 장면을 현실에서 무한정 반복 테스트할 순 없는 노릇이다. 월드모델은 이런 희귀 상황을 가상으로 수없이 찍어내 차량 AI에게 미리 겪게 한다. 테슬라나 웨이모가 시뮬레이션 데이터에 공을 들이는 이유, 여기 있다. 실제 도로 데이터만으로는 늘 부족하니까.
로봇 훈련에서도 필수템이 된 이유
휴머노이드 로봇을 훈련시키려면 물건 집기, 문 열기, 계단 오르기를 수없이 반복해야 한다. 실제 로봇으로 이 과정을 다 거치려면 시간도 돈도 감당이 안 된다. 월드모델은 이런 물리적 상호작용을 가상 공간에서 먼저 시뮬레이션해서, 로봇이 현실에 나오기 전에 어느 정도 손에 익은 상태로 만들어준다. 피지컬 AI라는 말이 요즘 부쩍 자주 들리는 배경에도 이 기술이 깔려 있다.
게임과 영상 업계가 눈독 들이는 지점
게임 개발사 입장에서 맵과 배경을 일일이 손으로 그리는 작업, 비용이 만만치 않다. 월드모델을 쓰면 텍스트나 이미지 몇 개로 플레이 가능한 배경을 그 자리에서 뽑아낼 수 있다. 영화나 광고 쪽에서도 가상 세트장을 이 기술로 만들려는 시도가 이어지고 있다. 완성도는 아직 초기 단계다. 솔직히 여기서 갈린다. 하지만 제작 기간을 크게 줄일 여지가 있다 보니 관련 스타트업 투자는 꾸준히 늘어나는 중이다.
결국 뭐가 달라지나
언어모델이 정보를 다루는 방식을 바꿔놨다면, 월드모델은 AI가 공간과 물리를 다루는 방식을 바꾸는 중이다. 아직은 로봇공학이나 자율주행처럼 전문 영역에서 먼저 쓰이지만, 게임이나 영상 제작 도구에도 조금씩 스며들고 있다. 당장 검색창에 이름을 쳐볼 일은 적어도, 뒤에서 돌아가는 기술이라는 점은 기억해둘 만하다. 이후 어떤 회사의 로봇이나 자율주행차가 유독 자연스럽게 움직인다 싶으면, 그 뒤에 괜찮은 월드모델이 있다고 봐도 크게 틀리지 않는다.
MIT 테크리뷰 AI 뉴스레터가 다룬 내용을 참고했다: MIT Tech Review AI
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.