[태그:] 자율주행

테슬라 옵티머스가 공장 시연 영상 수준을 넘어 실제 생산 라인에 투입된다는 이야기까지 나왔다. 그러자 중국 완성차 업체들이 기다렸다는 듯 로봇 사업부를 만들기 시작했다. 샤오미, 비야디, 지리, 샤오펑. 최근 1~2년 사이 이 네 곳 모두 휴머노이드 로봇 프로젝트를 내놨다. 자동차 만들던 회사가 왜 갑자기 로봇을 만드는지, 기술적으로 뭐가 겹치는지부터 짚어보자.

휴머노이드 로봇이란 정확히 뭘 말하나

휴머노이드 로봇은 머리, 몸통, 두 팔, 두 다리를 갖추고 두 발로 걷는 로봇을 말한다. 산업용 로봇팔이나 물류 로봇과 다른 지점은 범용성이다. 정해진 작업 하나만 반복하는 기계가 아니라, 사람이 쓰던 도구와 공간을 그대로 활용해 여러 작업을 소화하도록 설계했다는 뜻이다. 핵심 구성 요소를 추리면 이렇다.

• 액추에이터: 관절을 움직이는 모터+감속기 조합. 보통 하모닉 드라이브나 유성기어 감속기를 쓴다
• 자유도(DoF): 관절이 움직이는 축의 개수. 손가락까지 다 세면 40~50 자유도를 넘기기도 한다
• 인지·제어 스택: 카메라와 라이다로 주변을 읽고, 신경망 모델이 다음 동작을 정한다
• 배터리와 열관리: 두 발로 걷는 건 에너지를 꽤 먹는다. 구동 시간을 얼마나 뽑아내느냐가 관건이다

자동차 회사가 로봇을 만드는 이유

완성차 업체가 로봇 시장에 뛰어드는 이유는 단순하다. 기술을 재활용할 수 있어서다. 전기차 만들면서 쌓은 배터리 팩 설계, 모터 제어, 자율주행용 센서·신경망 기술이 로봇 개발에 거의 그대로 넘어간다. 테슬라가 옵티머스에 자율주행 신경망(FSD)의 비전 인식 모델을 그대로 이식한 게 대표적인 사례다. 여기에 완성차 업체는 이미 대량 생산 라인과 공급망을 갖추고 있다. 로봇 부품 단가를 낮추는 데도 유리한 조건이다.

수익성도 무시 못 한다. 전기차 시장은 가격 경쟁이 심해지면서 마진이 갈수록 얇아지는 반면, 산업·서비스용 로봇은 아직 초기 시장이라 단가도 마진도 높게 잡힌다. 자동차 한 대 팔아 남기는 이익보다 로봇 한 대의 이익률이 더 크다는 계산, 이게 깔려 있다.

테슬라 옵티머스, 어디까지 왔나

옵티머스는 2022년 콘셉트 공개 이후 매년 세대교체를 거쳤다. 최신 버전은 손가락 자유도를 늘리고 배터리 팩을 몸통 안쪽으로 옮겨 무게 중심을 잡았다. 테슬라는 자사 공장 내 반복 작업(부품 이동, 정렬)에 시범 투입했다고 밝혔다. 다만 완전 자율 작업보다는 사람이 원격으로 조작하는 텔레오퍼레이션 비중이 여전히 높다는 지적도 나온다 — 솔직히 이 부분은 아직 갈 길이 멀어 보인다. 양산 목표 대수와 시점은 여러 번 미뤄진 전례가 있다. 발표 시점보다 실제 출하 대수로 진행 상황을 판단하는 편이 안전하다.

중국 자동차 업체들, 저마다 다른 길

중국 쪽은 회사마다 접근이 꽤 다르다.

• 샤오미: 스마트폰·가전에서 쌓은 소형 모터·센서 공급망을 활용해 자체 로봇 사이버원(CyberOne)을 개발한다
• 비야디: 배터리 셀 제조 경쟁력을 앞세워 로봇용 고밀도 배터리 팩 자체 생산 라인을 구축했다
• 지리(Geely): 산하 로봇 스타트업에 투자하는 방식으로 리스크를 나눠 짊어진다
• 샤오펑: 자율주행 스택을 로봇 제어에 그대로 옮기는 전략. 넷 중 테슬라와 가장 닮은 접근이다

공통점은 부품 국산화율이 높다는 것. 중국은 감속기, 서보모터, 배터리셀까지 자국 공급망으로 조달할 수 있어 단가 경쟁에서 유리한 자리를 차지한다.

미국과 중국, 로봇 경쟁의 결이 다르다

미국, 그러니까 테슬라 중심 진영은 소프트웨어와 신경망 모델의 완성도에 무게를 싣는다. 중국 업체들은 반대로 하드웨어 원가 절감과 생산 속도에서 강점을 보인다. 감속기 하나만 봐도 차이가 드러난다. 일본 하모닉드라이브 제품은 개당 수백 달러인데, 중국산 대체품은 이미 절반 이하 가격까지 내려왔다. 결국 소프트웨어 격차를 얼마나 빨리 좁히느냐가 중국 업체들의 승부처고, 미국은 원가 구조를 얼마나 개선하느냐가 관건이다.

상용화까지 남은 숙제

수치로 보면 갈 길이 아직 멀다. 사람 손의 촉각과 힘 제어를 흉내 내는 그리퍼 기술은 여전히 초기 단계다. 로봇 손으로 계란 하나 안 깨고 집어 올리는 것, 아직도 쉬운 일이 아니라는 얘기다. 배터리 하나로 하루 8시간 넘게 연속 작업하는 제품, 아직 없다. 안전 규격(협동로봇 인증)도 국가마다 달라서, 같은 로봇이라도 시장마다 재인증을 거쳐야 한다. 가격도 걸림돌이다. 지금 시제품 단가는 대당 수천만 원 수준. 물류·제조 현장에 대규모로 투입하려면 최소 3분의 1 수준까지는 낮아져야 한다는 게 업계의 공통된 시각이다.

결국 승부는 어디서 갈릴까

로봇 자체의 완성도보다 누가 먼저 대량 생산 단가를 낮추느냐에서 판가름 날 가능성이 크다. 전기차 배터리 가격이 10년 만에 8분의 1 수준으로 떨어진 것처럼, 로봇도 부품 표준화와 생산량 확대가 맞물리면 비슷한 하락 곡선을 그릴 것으로 보인다. 자동차 업체들이 로봇 시장에 뛰어드는 이유도 결국 여기 있다. 이미 대량 생산 노하우를 가진 쪽이 단가 경쟁에서 유리한 출발선에 서게 되는 셈이다.

출처: TechCrunch

테슬라 옵티머스, 피규어(Figure), 요즘은 이름도 생소한 로봇 스타트업들까지. 몸값이 줄줄이 조 단위를 찍는다. 이 회사들, 사실 베팅하는 판돈은 하나로 똑같다. 월드모델(World Model)이라는 기술이다. 로봇이 스스로 움직이고 판단하려면 눈앞 공간이 어떤 구조인지, 시간이 흐르면 뭐가 어떻게 바뀌는지부터 알아야 한다. 이걸 가능케 하는 핵심이 바로 월드모델. 정확히 뭘 뜻하는 말인지, 챗GPT 같은 언어모델과는 뭐가 다른지 하나씩 짚어본다.

월드모델, 정확히 뭘 예측하는 기술인가

공을 던지면 포물선을 그리며 떨어진다는 걸 우리는 굳이 계산하지 않아도 안다. 문 앞에 서면 밀어야 열릴지 당겨야 열릴지도 대충 감이 온다. 월드모델은 이 감각을 AI에게 데이터로 욱여넣은 결과물이다. 눈앞 장면을 보고 다음에 뭐가 일어날지, 물체가 어떻게 움직일지, 시간이 지나면 공간이 어떻게 변할지를 내부적으로 시뮬레이션하는 모델이라고 보면 된다.

• 물체를 놓으면 어느 방향으로 떨어지는지
• 문을 밀었을 때 몇 도까지 열리는지
• 손을 뻗으면 몇 초 후 컵에 닿는지

이런 걸 픽셀 단위, 좌표 단위로 계산해내는 게 월드모델이 하는 일이다. 말로 하면 별거 아닌 것 같은데, 실제로 구현하려면 이게 상당히 골치 아프다.

챗GPT 같은 언어모델과는 뭐가 다른가

LLM은 문장 다음에 올 단어를 맞히도록 훈련된다. 월드모델은 다음 ‘장면’과 ‘상태’를 맞히도록 훈련된다는 점에서 결이 완전히 다르다. 로봇 팔이 5cm 움직이면 카메라 화면이 어떻게 바뀌는지, 물체와의 거리가 얼마나 좁혀지는지처럼 실제 물리량과 좌표를 다루는 셈이다. 텍스트 확률 게임을 하는 LLM과 달리, 월드모델은 3차원 공간과 시간축을 통째로 계산에 밀어넣는다. 비유하자면 LLM이 소설을 쓰는 쪽이라면, 월드모델은 물리 엔진에 가깝다.

로봇이 유독 이 기술에 매달리는 이유

로봇은 현실 공간에서 진짜로 몸을 움직여야 한다. 공간과 시간 예측이 조금만 어긋나도 물건을 떨어뜨리거나 벽에 부딪히는 사고로 바로 이어진다. 문제는 실제 로봇을 돌려서 데이터를 모으는 데 돈과 시간이 어마어마하게 든다는 것. 그래서 나온 해법이 시뮬레이션에서 먼저 학습시킨 다음 현실 로봇에 그대로 옮겨 심는 ‘심투리얼(sim-to-real)’ 방식이다. 월드모델이 정교할수록 이 전환 과정에서 오차가 줄어든다. 결국 시뮬레이션이 얼마나 현실과 닮았느냐의 싸움이다.

게임 플레이 데이터로 로봇을 훈련시킨다는 발상

최근 투자 업계가 눈여겨보는 접근이 하나 있다. 비디오게임 플레이 기록을 그대로 학습 데이터로 쓰는 방식이다. 사람들이 게임 속에서 문을 열고, 장애물을 피하고, 목표 지점을 찾아가는 행동. 이게 실제 로봇의 길찾기나 조작 동작과 본질적으로 닮았다는 아이디어에서 출발했다. 실물 로봇 팔을 수천 시간 돌리는 것보다 게임 영상 데이터를 긁어모으는 쪽이 압도적으로 싸다. 양도 비교가 안 될 만큼 많다. 로봇공학으로 사업을 넓히는 AI 스타트업들이 조 단위 밸류에이션으로 초대형 투자를 유치하는 배경에도 이런 계산이 깔려 있다. 처음 들었을 땐 좀 뜬금없다 싶었는데, 곱씹어보면 꽤 그럴싸한 발상이다.

엔비디아까지 뛰어든 이유

엔비디아는 자체 월드모델 플랫폼 ‘코스모스(Cosmos)’를 내놓으며 이 판에 뛰어들었다. 구글 딥마인드도 게임 생성형 모델 ‘지니(Genie)’ 시리즈로 비슷한 방향을 파고 있다. 젠슨 황이 강연 때마다 꺼내는 ‘피지컬 AI’라는 표현도 결국 같은 얘기다. 언어와 이미지를 다루던 AI가 다음 단계로 물리 세계, 그러니까 로봇과 자율주행, 물류 자동화로 영역을 넓히는 흐름. 자율주행차가 앞차와의 거리를 계산하고 급정거 상황을 미리 예측하는 것도 월드모델의 응용 사례 중 하나다.

아직 넘어야 할 산

시뮬레이션에서는 완벽하게 작동하던 로봇이 실제 현장에 나가면 삐걱대는 심투리얼 갭 문제, 여전히 크다. 조명, 바닥 재질, 물체 표면 마찰력처럼 시뮬레이션이 재현하지 못하는 변수가 한둘이 아니다. 여기에 대규모 시뮬레이션을 돌리는 연산 비용, 실제 현장에 투입하기 전 거쳐야 할 안전성 검증까지. 넘어야 할 단계가 아직 많이 남았다. 기술 자체의 가능성과 상용화 시점은 별개 문제라는 뜻이다.

결국 이 세 줄만 기억하면 된다

• 월드모델은 AI가 공간과 시간의 변화를 미리 계산하는 능력이다.
• 로봇과 자율주행이 한 단계 더 나아가려면 반드시 거쳐야 할 기술이다.
• 게임·시뮬레이션 데이터를 얼마나 확보하느냐가 다음 경쟁의 승부처가 될 전망이다.

로봇 관련 뉴스에서 ‘파운데이션 모델’, ‘피지컬 AI’ 같은 단어가 나올 때마다, 결국 이 월드모델 얘기라고 생각하면 훨씬 빨리 이해된다.

출처: TechCrunch

GM이 내놓은 콜벳 그랜드 스포츠 X, 최고출력 721마력짜리 하이브리드 슈퍼카다. 시승한 외신 기자들 반응이 재밌다. 엔진 배기량도, 서스펜션 세팅도 아니고 다들 뒤에서 돌아가는 소프트웨어 얘기부터 꺼냈다. 배터리와 모터, 엔진, 이 세 가지 동력원을 밀리초 단위로 조율하는 건 결국 코드다. 자동차가 하드웨어 싸움에서 소프트웨어 싸움으로 넘어가고 있다는 신호, 슈퍼카 한 대에서도 이렇게 뚜렷하게 드러난다. 요즘 업계 어디서나 튀어나오는 ‘소프트웨어 정의 자동차(SDV, Software-Defined Vehicle)’라는 용어, 후배 개발자한테 설명한다 생각하고 풀어봤다.

SDV, 정확히 뭘 말하는 걸까

예전 자동차는 ECU(전자제어장치)가 수십 개, 많으면 수백 개씩 흩어져 있었다. 각자 정해진 기능 하나만 맡는 구조였다. 창문 제어용 칩 따로, 에어백용 칩 따로, 엔진 분사용 칩 따로 놀았다는 얘기다. SDV는 이걸 몇 개의 고성능 중앙 컴퓨터로 묶고, 웬만한 기능은 소프트웨어로 처리하는 차를 가리킨다. 출고 후에도 업데이트로 성능이나 기능이 바뀐다는 게 핵심이다. 스마트폰에 바퀴 달아놓은 구조, 라고 하면 감이 빠르게 온다.

스펙표 숫자로는 설명이 안 되는 것들

예전엔 마력, 배기량, 토크만 비교하면 성능 순위가 얼추 나왔다. 지금은 다르다. 같은 하드웨어라도 소프트웨어 튜닝에 따라 체감 성능이 크게 갈린다. 하이브리드나 전기차는 배터리·모터·엔진 사이 출력 배분을 알고리즘이 결정한다. 그래서 스펙표 숫자와 실제 주행 감각이 따로 노는 경우가 흔하다. 같은 배터리 용량을 쓰고도 소프트웨어 최적화 수준에 따라 실주행거리와 가속 응답성이 눈에 띄게 갈리는 이유, 여기 있다.

OTA 업데이트가 판을 바꿔놓은 이유

무선 업데이트, OTA(Over-The-Air). SDV 얘기하면서 빠지는 법이 없는 키워드다. 예전엔 성능 개선이든 결함 수정이든 공장이나 정비소로 차를 끌고 가야 했다. SDV는 다르다. 스마트폰 앱처럼 밤사이 업데이트를 받고, 다음 날 아침엔 어제와 다른 차로 달릴 가능성이 있다.

• 리콜 대신 원격 패치로 해결하는 결함이 늘어난다
• 가속 모드, 서스펜션 세팅 같은 기능을 구독 상품으로 파는 사례가 등장했다
• 출시 이후에도 자율주행 보조 기능이 계속 확장된다

이 방식을 처음 대중화한 건 테슬라다. 지금은 대부분의 완성차 업체가 비슷한 구조를 뒤쫓는 중이고.

동력원이 늘어날수록 코드 비중이 커지는 이유

엔진 하나만 굴리던 시절엔 제어 로직도 비교적 단순했다. 하이브리드는 얘기가 다르다. 엔진, 모터, 여기에 배터리 관리 시스템까지 세 가지를 동시에 조율해야 한다. 언제 엔진을 끄고 모터로만 달릴지, 회생제동으로 모은 에너지를 언제 방출할지, 이런 판단을 밀리초 단위로 처리하는 게 소프트웨어다. 하드웨어가 아무리 좋아도 이 판단 로직이 허술하면 연비도 응답성도 반쪽짜리다. 고성능 하이브리드일수록 엔지니어 인력 중 소프트웨어 개발자 비중이 계속 늘어나는 것도 같은 맥락이다.

완성차 업체들의 승부수, 제각각이다

접근 방식은 업체마다 조금씩 다르다.

• 테슬라는 차량 아키텍처 자체를 소프트웨어 중심으로 새로 설계하는 쪽을 택했다
• 전통 완성차 업체들은 기존 하드웨어 구조 위에 통합 컴퓨팅 플랫폼을 얹는 방식으로 전환 중이다
• 일부 브랜드는 자체 개발 대신 구글, 엔비디아 같은 외부 플랫폼과 손잡고 인포테인먼트·자율주행 소프트웨어를 조달한다

방식은 갈려도 목표는 하나다. 하드웨어를 자주 바꾸지 않고도 소프트웨어만으로 신차급 경험을 계속 내놓는 것.

차 고를 때 소프트웨어 기준으로 뭘 봐야 하나

다음에 차를 알아볼 계획이라면 엔진 스펙 말고 이런 것도 같이 체크해볼 만하다.

• OTA 업데이트를 지원하는지, 지원 범위가 인포테인먼트에 국한되는지 아니면 주행 성능까지 포함하는지
• 업데이트 주기가 분기 단위인지 연 단위인지
• 인포테인먼트 화면 반응 속도와 내비게이션·음성인식 완성도
• 자율주행 보조 기능이 향후 업데이트로 확장 가능한 구조인지
• 보안 패치 정책이 명시돼 있는지. 커넥티드카는 해킹 표적이 되기 쉽다

다음 수순은 뭘까

AI 기반 개인화 주행 세팅, 구독형 기능 판매, 소프트웨어 유지보수용 별도 요금제. 자동차 업계 실험은 계속 이어지는 중이다. 콜벳 같은 스포츠카조차 코드 품질을 성능의 핵심 변수로 내세우는 시대다. 일반 소비자용 차량에서 소프트웨어 경쟁력은 이제 선택이 아니라 기본값에 가까워지고 있다는 얘기다. 다음 차를 고를 때 카탈로그 속 마력 숫자만큼, 그 차가 어떤 소프트웨어 위에서 돌아가는지도 따져볼 이유, 여기 있다.

출처: Ars Technica

애플이 접은 자율주행차 프로젝트, 한 번쯤 들어봤을 거다. 몇 년을 쏟아붓고 결국 차는 못 만들었다. 그런데 이 프로젝트가 남긴 게 실패한 자동차 한 대만은 아니라는 분석이 나온다. 지금 아이폰과 맥에 들어가는 AI 칩, 그 설계 기반이 여기서 나왔다는 얘기다. 블룸버그 마크 거먼 기자가 전한 바에 따르면, 애플은 자율주행차용 온디바이스 AI 처리 성능을 확보하는 과정에서 쌓은 노하우를 뉴럴엔진 설계에 그대로 이식했다. 차는 못 만들었지만, 그 과정에서 얻은 칩 기술이 오늘날 애플 실리콘을 AI 작업에 강하게 만든 셈이다.

이 이야기를 계기로 정리해볼 만한 게 하나 있다. 뉴럴엔진이 정확히 뭘 하는 부품인지, M시리즈 칩마다 AI 성능이 얼마나 차이 나는지, 로컬에서 AI를 돌리려면 맥북을 어떤 기준으로 골라야 하는지. 이 세 가지다.

애플 칩이 AI에 유독 강한 이유

애플 실리콘은 CPU, GPU, 뉴럴엔진이 메모리를 공유하는 통합 메모리 구조다. 인텔 CPU에 별도 그래픽카드를 얹는 조합과는 다르다. 데이터를 이곳저곳으로 복사할 필요 없이 한 곳에 모아두고 세 가지 연산 장치가 동시에 접근한다. AI 모델을 돌릴 때는 이 구조가 속도와 전력 효율, 두 마리 토끼를 다 잡는다. 여기에 더해 애플은 클라우드 서버가 아니라 기기 안에서 연산을 끝내는 방향을 오래전부터 밀어왔다. 사진 속 얼굴 인식, 문장 자동완성, 음성 인식 같은 기능을 기기 안에서 처리하려면 전용 AI 가속기가 필수다. 그게 바로 뉴럴엔진이다.

뉴럴엔진이 실제로 하는 일

뉴럴엔진은 CPU나 GPU와는 별도로 마련된 AI 연산 전용 칩 블록이다. 초당 처리 가능한 연산 횟수를 TOPS(Tera Operations Per Second)라는 단위로 표시하는데, 숫자가 클수록 같은 시간에 더 많은 AI 연산을 소화한다는 뜻이다. 아이폰의 얼굴 인식, 사진 앱의 인물·사물 구분, 시리의 음성 처리, 맥의 실시간 자막 번역. 이런 기능 대부분이 이 부품에서 돌아간다. 클라우드로 데이터를 보내지 않고 기기 안에서 끝내다 보니 반응 속도가 빠르고, 개인정보도 밖으로 새지 않는다. 이 부분은 솔직히 애플이 잘 잡은 방향이라고 본다.

M1부터 M4까지, 칩별 AI 성능 비교

세대가 바뀔 때마다 뉴럴엔진 성능도 큰 폭으로 뛰었다.

• M1: 뉴럴엔진 11 TOPS, 첫 세대치고 준수한 수준
• M2: 15.8 TOPS, 로컬 이미지 생성 모델도 무난하게 소화
• M3: 18 TOPS, GPU 레이 트레이싱까지 함께 강화
• M4: 38 TOPS로 전작 대비 2배 이상 도약, 애플이 처음으로 AI 성능을 정면에 내세운 세대

숫자만 보면 M4가 압도적이다. 다만 실제 체감 차이는 어떤 작업을 하느냐에 따라 갈린다. 이건 좀 케이스 바이 케이스다.

용도별로 맥북 고르는 법

• 문서 작업, 웹서핑, 가벼운 사진 보정: M1이나 M2 에어로 충분하다. 굳이 최신 칩에 돈을 더 쓸 이유가 없다.
• 로컬 LLM 구동(라마, 미스트랄 등 오픈소스 모델): M3 프로 이상, RAM 32GB를 기준으로 삼는 게 안전하다.
• 이미지 생성(Stable Diffusion), AI 영상 편집: M4 프로나 맥스, RAM 32~64GB급을 권장한다.
• 대형 모델 연구·개발용: M4 맥스에 RAM 64GB 이상. 여기까지 필요한 사람은 사실 소수다.

RAM은 얼마나 필요할까

애플 실리콘은 CPU, GPU, 뉴럴엔진이 메모리를 나눠 쓰는 구조라서 RAM 용량이 곧 AI 성능의 상한선을 결정한다. 로컬에서 언어 모델을 돌린다면 대략 이런 기준으로 잡으면 된다.

• 70억 파라미터급 모델: RAM 8~16GB로 실행 가능
• 130억 파라미터급 모델: RAM 16~24GB 권장
• 700억 파라미터급 모델: RAM 64GB 이상 필요

저장 공간은 넉넉해도 RAM이 부족하면 모델 자체가 안 돌아간다. 맥북 살 때 SSD 용량보다 RAM 용량부터 챙겨야 하는 이유가 여기 있다.

윈도우 노트북과 비교하면 어떨까

퀄컴 스냅드래곤 X 엘리트를 탑재한 이른바 코파일럿+PC는 NPU 성능 40 TOPS를 마이크로소프트 인증 기준으로 내걸었다. 숫자만 보면 M4의 38 TOPS와 비슷하다. 하지만 실제 AI 앱 생태계와 최적화 수준은 아직 애플 쪽이 한발 앞서 있다는 평가가 많다. 반대로 게임이나 범용 소프트웨어 호환성에서는 윈도우 진영이 여전히 유리하다. AI 작업 비중이 크다면 맥, 범용성과 호환성을 우선한다면 윈도우. 이 정도로 나눠서 생각하면 답이 나온다.

자주 묻는 질문 몇 가지

Q. 인텔 맥으로는 로컬 AI를 못 쓰나?
전용 뉴럴엔진이 없어서 클라우드 기반 AI 기능 위주로만 쓸 수 있다. 로컬 LLM 구동은 사실상 권장하지 않는다.

Q. 아이폰도 맥과 같은 구조인가?
A시리즈 칩에도 동일한 개념의 뉴럴엔진이 들어간다. 세대별 TOPS 수치는 다르지만 설계 철학은 같다.

Q. 굳이 맥스 칩까지 필요할까?
대형 모델을 직접 돌리거나 영상·3D 작업을 전문적으로 하는 게 아니라면 프로 등급으로 충분하다. 맥스는 오버스펙인 경우가 많다. 괜히 돈만 더 나가는 셈이다.

출처: The Verge

로봇 팔 하나가 컵을 집어 올리는 법을 제대로 익히려면 수천 시간의 시행착오가 필요하다. 사람은 몇 번만 보여줘도 곧잘 따라 하는데 말이다. 이 격차를 메우려는 시도가 최근 로봇공학 업계에서 피지컬 AI(Physical AI)라는 이름으로 빠르게 번지고 있다. 검색해보면 정의가 제각각이라 헷갈리는 사람이 많아, 개념부터 실제 적용 사례까지 순서대로 짚어본다.

피지컬 AI, 정확히 뭘 말하는 걸까

피지컬 AI는 카메라, 센서, 로봇 팔처럼 물리적인 몸체를 가진 기계가 주변을 인식하고 스스로 판단해 움직이도록 만드는 AI 기술을 통칭한다. 챗GPT 같은 언어 모델이 텍스트를 이해하고 만들어내는 데 특화됐다면, 피지컬 AI는 공간, 중력, 물체의 무게와 마찰력 같은 물리 법칙을 학습해야 한다는 점이 다르다. 둘 다 ‘똑똑한 AI’라 불리지만, 다루는 데이터의 결이 완전히 다른 셈이다.

로봇 학습이 유독 어려운 진짜 이유

언어 모델은 인터넷에 널린 텍스트와 이미지를 긁어모으면 학습이 된다. 로봇이 물건을 집고 옮기는 동작 데이터는? 인터넷 어디에도 없다. 로봇 팔을 실제로 움직여가며 데이터를 쌓으려면 제약이 한둘이 아니다.

• 로봇 하드웨어 구입과 유지 비용부터 만만치 않다
• 사람이 옆에서 직접 조작하거나 시연해야 하는 경우가 많아 시간이 오래 걸린다
• 넘어지거나 부딪히는 실패 사례를 모으다 보면 장비가 망가지기 십상이다
• 같은 동작도 조명, 바닥 재질, 물체 형태를 바꿔가며 반복해야 겨우 일반화된다

결국 로봇용 학습 데이터는 텍스트 데이터보다 수집 단가가 몇 배는 비싸다. 로봇공학이 오랫동안 ‘데이터 병목’을 못 풀었던 배경이다.

게임 데이터와 시뮬레이션이 대안으로 뜬 배경

여기서 나온 아이디어가 비디오 게임 플레이 영상이나 시뮬레이션 환경을 끌어다 쓰는 방식이다. 1인칭 슈팅 게임이나 오픈월드 게임 속 캐릭터가 물체를 집고, 문을 열고, 장애물을 피하는 장면에는 물리 엔진 기반 동작 데이터가 이미 방대하게 쌓여 있다. 이걸 그대로 로봇에 이식하기는 무리지만, 물체와 상호작용하는 패턴이나 공간 이동 규칙을 먼저 익히는 사전 학습 재료로는 쓸 만하다는 게 최근 스타트업들의 계산이다. 실제 로봇 데이터가 부족해도, 게임에서 뽑아낸 수백만 시간 분량의 상호작용 영상으로 기초 체력을 먼저 다지고, 모자란 부분만 소량의 실제 데이터로 미세 조정하는 전략이다. 좀 억지스럽게 들릴 수도 있는데, 실제로 성과를 내는 팀들이 나오고 있다.

파운데이션 모델과 로봇공학이 만나는 지점

파운데이션 모델은 방대한 데이터를 미리 학습해 범용 능력을 갖춘 뒤, 특정 작업에 맞춰 추가 학습(파인튜닝)하는 AI 모델을 뜻한다. 구글 딥마인드의 RT-2, 엔비디아의 GR00T가 대표적이다. 이런 모델은 사람이 일일이 ‘이럴 땐 이렇게 움직여라’고 코딩해주지 않아도, 언어 명령을 물리적 동작으로 바로 바꿔낸다. “빨간 컵을 왼쪽 선반에 올려줘” 같은 문장을 알아듣고 그에 맞는 팔 동작을 계산해내는 식이다. 엔비디아가 Isaac Sim 같은 시뮬레이션 플랫폼에 공들이는 이유도 여기 있다. 실제 로봇을 돌리지 않고도 가상 환경에서 안전하게 대량의 학습 데이터를 뽑아낼 수 있어서다.

실제로 어디에 쓰이고 있나

피지컬 AI는 이미 몇몇 영역에서 상용화 단계에 들어섰다.

• 물류센터 피킹 로봇 — 크기 제각각인 박스를 인식하고 분류
• 제조 공장 조립 라인 — 부품 정렬, 용접 위치 자동 보정
• 가정용 청소 로봇과 서빙 로봇 — 장애물 회피, 경로 재계산
• 자율주행차의 상황 판단 — 보행자, 신호, 돌발 장애물에 대한 물리적 반응

자율주행과 산업용 로봇이 결국 같은 기술 뿌리를 공유한다는 점도 눈여겨볼 만하다. 도로 위 상황 판단이든 창고 안 물체 회피든, 본질은 ‘물리 세계를 이해하고 안전하게 반응하는’ 같은 문제이기 때문이다.

남은 변수들 — sim-to-real 간극

게임이나 시뮬레이션에서 배운 걸 실제 로봇에 그대로 옮기면 어긋나는 경우가 적지 않다. 가상 공간의 마찰력과 실제 바닥의 마찰력은 다르고, 카메라 노이즈나 조명 변화 같은 변수도 시뮬레이션에서는 완벽히 재현하기 어렵다. 이걸 ‘시뮬레이션-실제 간극(sim-to-real gap)’이라 부르는데, 이 간극을 얼마나 좁히느냐가 피지컬 AI 스타트업들의 경쟁력을 가르는 핵심 변수로 꼽힌다. 안전 인증, 제조 단가, 전력 소모 문제도 실제 배포 단계에서 계속 발목을 잡는다. 로봇공학 쪽 채용 공고나 스타트업 투자 소식을 눈여겨보는 사람이라면, ‘어떤 데이터로 학습시켰는가’와 ‘실제 환경 전이 성능을 어떻게 검증했는가’, 이 두 질문에 대한 답부터 확인해보길. 옥석을 가리는 데 도움이 될 거다.

출처: TechCrunch