로봇 팔 하나가 컵을 집어 올리는 법을 제대로 익히려면 수천 시간의 시행착오가 필요하다. 사람은 몇 번만 보여줘도 곧잘 따라 하는데 말이다. 이 격차를 메우려는 시도가 최근 로봇공학 업계에서 피지컬 AI(Physical AI)라는 이름으로 빠르게 번지고 있다. 검색해보면 정의가 제각각이라 헷갈리는 사람이 많아, 개념부터 실제 적용 사례까지 순서대로 짚어본다.
피지컬 AI, 정확히 뭘 말하는 걸까
피지컬 AI는 카메라, 센서, 로봇 팔처럼 물리적인 몸체를 가진 기계가 주변을 인식하고 스스로 판단해 움직이도록 만드는 AI 기술을 통칭한다. 챗GPT 같은 언어 모델이 텍스트를 이해하고 만들어내는 데 특화됐다면, 피지컬 AI는 공간, 중력, 물체의 무게와 마찰력 같은 물리 법칙을 학습해야 한다는 점이 다르다. 둘 다 ‘똑똑한 AI’라 불리지만, 다루는 데이터의 결이 완전히 다른 셈이다.
로봇 학습이 유독 어려운 진짜 이유
언어 모델은 인터넷에 널린 텍스트와 이미지를 긁어모으면 학습이 된다. 로봇이 물건을 집고 옮기는 동작 데이터는? 인터넷 어디에도 없다. 로봇 팔을 실제로 움직여가며 데이터를 쌓으려면 제약이 한둘이 아니다.
- 로봇 하드웨어 구입과 유지 비용부터 만만치 않다
- 사람이 옆에서 직접 조작하거나 시연해야 하는 경우가 많아 시간이 오래 걸린다
- 넘어지거나 부딪히는 실패 사례를 모으다 보면 장비가 망가지기 십상이다
- 같은 동작도 조명, 바닥 재질, 물체 형태를 바꿔가며 반복해야 겨우 일반화된다
결국 로봇용 학습 데이터는 텍스트 데이터보다 수집 단가가 몇 배는 비싸다. 로봇공학이 오랫동안 ‘데이터 병목’을 못 풀었던 배경이다.
게임 데이터와 시뮬레이션이 대안으로 뜬 배경
여기서 나온 아이디어가 비디오 게임 플레이 영상이나 시뮬레이션 환경을 끌어다 쓰는 방식이다. 1인칭 슈팅 게임이나 오픈월드 게임 속 캐릭터가 물체를 집고, 문을 열고, 장애물을 피하는 장면에는 물리 엔진 기반 동작 데이터가 이미 방대하게 쌓여 있다. 이걸 그대로 로봇에 이식하기는 무리지만, 물체와 상호작용하는 패턴이나 공간 이동 규칙을 먼저 익히는 사전 학습 재료로는 쓸 만하다는 게 최근 스타트업들의 계산이다. 실제 로봇 데이터가 부족해도, 게임에서 뽑아낸 수백만 시간 분량의 상호작용 영상으로 기초 체력을 먼저 다지고, 모자란 부분만 소량의 실제 데이터로 미세 조정하는 전략이다. 좀 억지스럽게 들릴 수도 있는데, 실제로 성과를 내는 팀들이 나오고 있다.
파운데이션 모델과 로봇공학이 만나는 지점
파운데이션 모델은 방대한 데이터를 미리 학습해 범용 능력을 갖춘 뒤, 특정 작업에 맞춰 추가 학습(파인튜닝)하는 AI 모델을 뜻한다. 구글 딥마인드의 RT-2, 엔비디아의 GR00T가 대표적이다. 이런 모델은 사람이 일일이 ‘이럴 땐 이렇게 움직여라’고 코딩해주지 않아도, 언어 명령을 물리적 동작으로 바로 바꿔낸다. “빨간 컵을 왼쪽 선반에 올려줘” 같은 문장을 알아듣고 그에 맞는 팔 동작을 계산해내는 식이다. 엔비디아가 Isaac Sim 같은 시뮬레이션 플랫폼에 공들이는 이유도 여기 있다. 실제 로봇을 돌리지 않고도 가상 환경에서 안전하게 대량의 학습 데이터를 뽑아낼 수 있어서다.
실제로 어디에 쓰이고 있나
피지컬 AI는 이미 몇몇 영역에서 상용화 단계에 들어섰다.
- 물류센터 피킹 로봇 — 크기 제각각인 박스를 인식하고 분류
- 제조 공장 조립 라인 — 부품 정렬, 용접 위치 자동 보정
- 가정용 청소 로봇과 서빙 로봇 — 장애물 회피, 경로 재계산
- 자율주행차의 상황 판단 — 보행자, 신호, 돌발 장애물에 대한 물리적 반응
자율주행과 산업용 로봇이 결국 같은 기술 뿌리를 공유한다는 점도 눈여겨볼 만하다. 도로 위 상황 판단이든 창고 안 물체 회피든, 본질은 ‘물리 세계를 이해하고 안전하게 반응하는’ 같은 문제이기 때문이다.
남은 변수들 — sim-to-real 간극
게임이나 시뮬레이션에서 배운 걸 실제 로봇에 그대로 옮기면 어긋나는 경우가 적지 않다. 가상 공간의 마찰력과 실제 바닥의 마찰력은 다르고, 카메라 노이즈나 조명 변화 같은 변수도 시뮬레이션에서는 완벽히 재현하기 어렵다. 이걸 ‘시뮬레이션-실제 간극(sim-to-real gap)’이라 부르는데, 이 간극을 얼마나 좁히느냐가 피지컬 AI 스타트업들의 경쟁력을 가르는 핵심 변수로 꼽힌다. 안전 인증, 제조 단가, 전력 소모 문제도 실제 배포 단계에서 계속 발목을 잡는다. 로봇공학 쪽 채용 공고나 스타트업 투자 소식을 눈여겨보는 사람이라면, ‘어떤 데이터로 학습시켰는가’와 ‘실제 환경 전이 성능을 어떻게 검증했는가’, 이 두 질문에 대한 답부터 확인해보길. 옥석을 가리는 데 도움이 될 거다.
출처: TechCrunch
테크가이드팀
Home-In-One 테크가이드팀은 IT 기기 비교, 소프트웨어 추천, 트러블슈팅 가이드 등 실용적인 기술 콘텐츠를 제작합니다. 초보자도 쉽게 따라할 수 있는 단계별 가이드를 지향합니다.