라떼 아트를 그리는 카페 로봇, 초당 수십 개 상품을 집어 올리는 물류 창고 로봇 팔. 이 움직임들은 코드 몇 줄로 완성되지 않는다. 수백만 건의 데이터 라벨링이 쌓인 결과다. 정교한 알고리즘도, 강력한 하드웨어도 결국 데이터가 없으면 제대로 작동하지 않는다. 그리고 그 데이터를 만드는 건 아직도 인간이다.
로봇에게 ‘본다는 것’을 가르치는 일
인식이 먼저다. 로봇이 컵을 집으려면, 그게 컵인지부터 알아야 한다. 컴퓨터 비전의 영역이다. 초기 AI 학습이 집중한 세 가지 방식이 있다.
- 이미지 분류 (Image Classification): 이 사진은 ‘고양이’인가, ‘강아지’인가?
- 객체 탐지 (Object Detection): 사진 속 ‘컵’은 어디에 있는가? (바운딩 박스)
- 분할 (Segmentation): 이미지에서 ‘사람’에 해당하는 픽셀만 정확히 구분하기.
인터넷 인증에서 자주 마주치는 ‘신호등이 포함된 이미지를 모두 고르시오’ 캡챠(CAPTCHA). 귀찮은 보안 절차처럼 느껴지지만, 실상은 AI 모델을 위한 데이터 라벨링 작업이다. 클릭할 때마다 로봇은 세상을 조금씩 더 배운다. 가장 기초적인 형태의 데이터 기여다.
동작을 가르치는 건 차원이 다른 문제다
사물을 알아보는 것과 직접 집어 드는 건 완전히 다른 이야기다. 컵 위치를 아는 것만으로는 부족하다. 어떤 각도로 잡아야 하는지, 얼마나 세게 쥐어야 내용물이 안 쏟아지는지까지 알아야 한다. 여기서 등장하는 개념이 모방 학습(Imitation Learning)이다.
MIT 테크 리뷰가 보도한 나이지리아의 한 의대생 사례가 이를 잘 보여준다. 집에서 VR 헤드셋과 컨트롤러를 착용하고 원격으로 로봇을 조종한다. 그의 움직임 하나하나는 데이터로 기록되어 AI 모델 훈련에 쓰인다. 인간이 직접 시범을 보이는 ‘모범 답안’을 AI에 입력하는 셈이다. 이를 텔레오퍼레이션(Teleoperation, 원격 조종)을 통한 데이터 수집이라 부른다. 수천, 수만 번의 시범 데이터를 학습한 로봇은 점차 유사한 작업을 스스로 해낸다.
강화학습: 성공과 실패로 배우는 AI
모든 상황에 대한 모범 답안을 인간이 일일이 만들어 줄 수는 없다. 이때 쓰는 방식이 강화학습(Reinforcement Learning)이다. 정답 대신 ‘보상’을 목표로 설정한다.
‘테이블 위 블록을 상자에 넣어라’는 미션을 예로 들면 이렇다.
- 블록에 가까이 가면: +1점
- 블록을 잡으면: +10점
- 블록을 상자에 넣으면: +100점 (최종 보상)
- 블록을 떨어뜨리면: -5점
이 보상 구조 안에서 로봇은 수백만 번 시도하며 점수를 최대로 끌어올리는 경로를 스스로 찾아낸다. 처음엔 무작위 움직임이다. 시간이 지나면서 가장 효율적인 동작 패턴이 남는다. 알파고가 이세돌 9단을 꺾은 것도 이 강화학습의 결과였다.
시뮬레이션: 현실보다 수천 배 빠른 훈련소
수백만 번의 실패를 현실에서 반복하면? 로봇이 고장 나거나 주변 환경을 망가뜨린다. 비용도 감당하기 어렵다. 그래서 AI 로봇 훈련의 대부분은 가상 환경, 즉 시뮬레이션 안에서 진행된다.
엔비디아의 아이작 심(Isaac Sim) 같은 플랫폼은 현실과 거의 동일한 물리 법칙이 적용된 디지털 트윈(Digital Twin) 환경을 제공한다. 개발자들은 이 가상 공간에서 24시간 내내, 현실보다 수천 배 빠른 속도로 로봇 모델을 훈련시킨다. 충분히 학습된 AI 모델을 실제 로봇에 이식하면 시간과 비용을 대폭 줄이면서 안전까지 챙긴다. 이 접근법 덕분에 지금 수준의 로봇 AI 개발이 현실적인 일정 안에서 가능해졌다.
기술이 발전해도 인간 손길이 사라지지 않는 이유
시뮬레이션이 아무리 정교해도 현실의 변수를 100% 재현하지는 못한다. 미끄러운 바닥, 예상치 못한 그림자, 찌그러진 포장. 이런 상황에 대응하려면 실제 인간이 만든 ‘진짜’ 데이터가 반드시 필요하다. 고품질 현실 데이터의 희소성이 핵심 병목이다.
로봇을 원격 조종하며 행동 데이터를 수집하는 작업은 고도의 전문 지식을 요구하지 않는다. 대신 시간과 반복이 필요하다. 이 때문에 전 세계 긱 워커(Gig worker)들이 원격으로 로봇 훈련에 참여하는 새로운 노동 시장이 열리고 있다. AI 시대의 보이지 않는 노동력이 로봇의 지능을 한 단계씩 끌어올리는 구조다.
데이터 질이 곧 로봇 지능이다
AI 로봇의 성능은 어떤 데이터를 얼마나, 어떻게 학습했느냐로 결정된다. 편향되거나 품질이 낮은 데이터를 학습한 로봇은 엉뚱하게 작동한다. IT 업계의 오래된 격언 ‘Garbage In, Garbage Out’이 로봇 공학에도 그대로 적용된다. 정교한 알고리즘도, 강력한 하드웨어도 좋은 데이터라는 토양 없이는 제대로 피어나지 못한다. 앞으로 로봇 기술의 발전 속도는 데이터 기술의 발전 속도와 맞닿아 있을 것이다.
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.