[태그:] 자율주행

테슬라 FSD가 고속도로를 혼자 달리는 영상은 이제 흔하다. 웨이모 로보택시는 샌프란시스코 도심을 운전자 없이 운행 중이다. 그런데 막상 “저 차가 어떻게 움직이는 거야?”라고 물으면 제대로 아는 사람이 많지 않다. 센서가 여러 개라는 건 알겠는데, 그게 어떻게 조합돼서 판단을 내리는지, 레벨 2랑 레벨 4가 실제로 뭐가 다른지 — 이걸 한 번에 정리해본다.

자율주행차, 결국 세 가지 질문을 푸는 기계다

자율주행차가 스스로 달리려면 세 가지를 해결해야 한다. 지금 주변에 뭐가 있나, 어디로 가야 하나, 어떻게 움직이나. 이 세 질문에 실시간으로 답하는 게 자율주행의 전부다. 들으면 단순해 보이는데 실제론 엄청 복잡하다. 신호등 색 바뀌는 타이밍, 갑자기 뛰어드는 보행자, 도로 위 비닐봉지까지 — 이런 변수가 초당 수백 개씩 쏟아진다. 그걸 전부 처리해야 한다.

기술의 최종 목표는 운전 부담 제거와 교통사고 감소다. 사람보다 반응이 빠르고, 졸리지도 않고, 술도 안 마신다. 이론상으론 완벽한 운전자다. 이론상으론.

자율주행차의 눈과 귀 — 핵심 센서 기술

차가 세상을 인식하려면 감각이 있어야 한다. 자율주행차는 카메라·라이다·레이더·초음파·GPS를 조합해 사람의 오감을 대신한다. 각각 역할이 다르다.

• 카메라: 가장 기본적인 센서다. 차선, 신호등, 표지판, 보행자를 읽어낸다. 색과 형태 구분은 카메라가 제일 낫다. 단점은 야간, 역광, 폭우에서 성능이 뚝 떨어진다는 것. 테슬라는 카메라만 쓰는 방식을 고집하는데, 업계에서 논란이 꽤 된다.
• 라이다 (LiDAR): 레이저 펄스를 쏴서 반사 시간으로 3D 지도를 만든다. 거리·형태·속도를 센티미터 단위로 잰다. 웨이모가 대표적으로 쓰는 방식이다. 문제는 단가가 수백만 원대라 양산 차량에 얹기가 쉽지 않고, 짙은 안개에도 약하다.
• 레이더 (Radar): 전파로 물체와의 거리·속도를 측정한다. 악천후에 비교적 강하고, 100m 이상 원거리 탐지에 유리하다. 앞차 간격 유지나 충돌 방지 시스템에 주로 쓰인다. 형태 인식은 카메라나 라이다보다 떨어진다.
• 초음파 센서: 주차할 때 삑삑 소리 내는 그것이다. 단거리, 수 미터 이내 물체 감지용이다. 저렴하고 설치가 쉽지만 범위가 짧아서 저속 주차 보조 이상으론 쓰기 어렵다.
• GPS/IMU (관성 측정 장치): 차량의 위치를 잡고, 기울기·방향·속도 변화를 계속 측정한다. 고정밀 지도와 결합하면 현재 위치를 수십 센티미터 단위로 추정한다.

이 센서들을 따로따로 쓰면 의미가 없다. 카메라는 밤에 흐리고, 라이다는 안개에 약하고, 레이더는 형태를 못 읽는다. 그래서 이 모든 데이터를 하나로 합치는 센서 퓨전이 핵심이다. 눈·귀·손에서 온 정보를 종합해 판단하듯, 각 센서가 서로의 맹점을 메운다. 어느 하나가 오류를 내도 나머지가 버텨주는 구조다.

자율주행차의 두뇌 — AI와 소프트웨어

센서가 데이터를 모으면 AI가 해석한다. 인식 → 판단 → 제어, 세 단계다.

• 데이터 처리 및 환경 인식: AI가 도로 위 모든 객체를 분류한다. 저건 사람, 저건 자전거, 저건 공사 표지판. 딥러닝이 여기서 핵심이다. 수억 장의 실제 주행 이미지로 학습해 패턴을 익힌다. 2024년 기준, 주요 자율주행 업체들은 수십억 킬로미터의 주행 데이터를 보유 중이다.
• 경로 계획 및 의사 결정: 현재 위치에서 목적지까지, 실시간 교통 흐름과 주변 차량 움직임을 보면서 경로를 짠다. 옆 차가 3초 후에 끼어들 것 같다면 미리 속도를 줄인다. 이런 예측과 대응이 초당 수십 번씩 일어난다.
• 고정밀 지도 (HD Map): 일반 내비게이션 지도와 차원이 다르다. 차선 폭, 신호등 정확한 위치, 도로 경사도, 커브 곡률까지 센티미터 단위로 담겨 있다. 자율주행차가 GPS 오차를 보정하고 스스로 위치를 정밀하게 추정하는 기반이다.
• V2X (Vehicle-to-Everything) 통신: 차와 차, 차와 신호등, 차와 보행자 스마트폰이 서로 신호를 주고받는다. 앞에 트럭이 가려 교차로가 안 보여도, 교차로 너머 차량 정보를 미리 받아 대비한다. 센서만으론 볼 수 없는 영역을 커버한다.

AI 모델은 달리면 달릴수록 정교해진다. 실제 주행 데이터가 쌓이면 학습이 개선되고, 개선된 모델이 다시 차에 탑재된다. 이 순환 구조 덕분에 자율주행 시스템은 출시 후에도 계속 성장한다. 데이터가 곧 경쟁력인 이유다.

자율주행 기술 어디까지 왔나 — SAE 레벨 0~5

미국자동차공학회(SAE)가 정의한 6단계 분류가 업계 표준이다. 숫자가 올라갈수록 차가 알아서 하는 범위가 넓어진다.

• 레벨 0 (No Automation): 운전자가 전부 다 한다. 자동화 기능 없음.
• 레벨 1 (Driver Assistance): 기능 하나만 자동. 어댑티브 크루즈 컨트롤(ACC)이나 차선 유지 보조(LKA) 중 하나. 나머지는 운전자 몫이다.
• 레벨 2 (Partial Automation): ACC와 LKA를 동시에 쓰는 수준. 지금 팔리는 고급 세단 대부분이 여기다. 차가 핸들과 가속을 같이 제어하지만, 눈은 계속 도로에 있어야 한다. 손 놓으면 경고한다.
• 레벨 3 (Conditional Automation): 고속도로 정체 구간 같은 특정 조건에서는 차가 전부 알아서 한다. 운전자는 그 사이 다른 것을 봐도 된다. 단, 시스템이 “이제 네가 운전해”라고 요청하면 즉시 넘겨받아야 한다. 이 레벨이 기술적으로 가장 까다롭다. 사고 시 책임 소재 문제가 복잡해서 상용화가 느리게 진행 중이다.
• 레벨 4 (High Automation): 정해진 구역(ODD, Operational Design Domain) 안에서는 운전자가 아예 없어도 된다. 비상 상황도 차가 스스로 처리하거나 갓길에 선다. 웨이모 로보택시가 목표로 하는 레벨이다.
• 레벨 5 (Full Automation): 어디서든, 어떤 날씨든, 완전 자율 주행. 핸들이나 페달 자체가 필요 없다. 아직 연구 개발 단계다. 언제 상용화될지는 솔직히 아무도 모른다.

지금 시장은 레벨 2에서 레벨 3으로 넘어가는 과도기다. 레벨 4 상용화 테스트도 곳곳에서 진행 중이다. 단, 레벨 경계는 기술만으로 정해지지 않는다. 각국 도로교통법, 보험 제도, 사회적 합의가 다 맞아떨어져야 한다.

기술보다 어려운 것들

자율주행을 막는 건 센서 정밀도만이 아니다. 솔직히 지금 기술 수준은 꽤 왔다. 진짜 걸림돌은 따로 있다.

• 안전과 신뢰성: 99.99% 정확도로는 부족하다. 하루 수백만 대가 달리면, 0.01% 오류도 수천 건의 사고로 이어진다. 폭설, 역광, 공사 구간처럼 센서가 혼란스러운 환경에서도 버텨야 한다. 오류가 나더라도 백업 시스템이 작동해야 한다.
• 윤리적 딜레마: 피할 수 없는 사고에서 차가 어떤 판단을 내려야 하나. 보행자와 탑승자 중 하나를 선택해야 하는 순간이 오면? 기술 문제가 아니라 철학 문제다. 그 기준을 누가 정하느냐가 핵심이다.
• 법과 제도: 전 세계 교통법은 인간 운전자를 기준으로 만들어졌다. 자율주행 사고가 나면 책임은 운전자에게? 제조사에게? 소프트웨어 개발사에게? 이를 명확히 하는 법적 프레임이 대부분 나라에서 아직 미완성이다.
• 인프라와 사이버 보안: V2X 통신망, HD 지도 데이터베이스 — 이걸 깔아야 레벨 4가 제대로 굴러간다. 막대한 인프라 투자가 필요하다. 거기다 자율주행 시스템이 해킹당하면 어떻게 되나. 사이버 보안은 지금도 업계 최대 과제 중 하나다.

The Verge가 전한 바에 따르면, 우버가 자율주행 데이터 수집 전용 랩을 별도로 운영할 만큼 데이터 확보 경쟁은 치열하다. 정부·학계·기업이 협력하면서 기술은 분명 앞으로 나아가고 있다. 자율주행차는 운송 수단 이상이다. 도시 구조를 바꾸고, 물류를 재편하고, 노인과 장애인의 이동권을 확장한다. 그 변화가 언제 오느냐는 기술만큼 제도와 사회 합의에 달려 있다.

출처: The Verge

스스로 달리는 차 뒤에, 모니터 앞에 앉은 사람이 있다. 테슬라 로보택시가 원격 오퍼레이터의 개입 도중 충돌 사고를 냈다는 사실이 알려지면서, 자율주행의 ‘인간 개입’ 문제가 수면 위로 올라왔다. 완전 자율의 꿈을 향해 달리는 기술 뒤에 정작 사람의 손이 필요한 순간이 있다는 아이러니. 이 역설이 자율주행 산업 전체를 관통하는 모순이다.

레벨 3도 4도, 결국 ‘틈새’가 문제다

자율주행은 0단계부터 5단계까지 나뉜다. 지금 상용화에 가장 가까운 건 레벨 3과 레벨 4다. 레벨 3은 특정 조건에서만 자율주행이 되고, 비상 상황에선 운전자가 개입해야 한다. 레벨 4는 정해진 운영 영역(ODD) 안에서 완전 자율이 가능하지만, 그 영역을 벗어나면 시스템이 손을 놓는다. 문제는 그 ‘경계 밖’이다.

갑자기 나타난 공사 구간, 폭설로 지워진 차선, 센서가 못 잡은 역주행 차량. 엣지 케이스(Edge Case)는 언제든 현실로 나타난다. AI가 방대한 데이터를 학습해도, 현실은 늘 그보다 한 발 앞서 있다. 차가 멈추거나 오작동하면 도로 한복판이 위험 지대로 변한다. 그래서 등장한 게 원격 관제(Remote Control)다. 비상 상황에 인간이 원거리에서 차량을 제어하거나 방향을 잡아주는 구조다. 기술의 한계를 보완하면서 상용화 속도를 높이려는 현실적인 선택이기도 하다.

텔레오퍼레이션 vs 원격 지원, 뭐가 다른가

원격 관제는 크게 두 갈래로 나뉜다.

• 텔레오퍼레이션 (Teleoperation): 오퍼레이터가 차량을 직접 운전한다. 스티어링 휠, 페달, 360도 모니터를 통해 실제 운전석처럼 제어하는 방식이다. 복잡한 교차로 통과, 비상 회피, 차량 견인 같은 고난도 상황에서 쓰인다. 초저지연 통신이 필수다. 조금이라도 끊기면 위험하다. 높은 대역폭과 낮은 지연 시간을 동시에 요구하는 고난도 기술이다.
• 원격 지원 (Remote Assistance) / 원격 감독 (Remote Supervision): 직접 운전하진 않는다. 차량 상태를 모니터링하면서 우회 경로 제안, 임시 정지 명령 등 ‘조언’을 주는 방식이다. 공사로 길이 막혔을 때 다른 경로를 안내하거나, 예상치 못한 장애물을 만났을 때 멈추라는 명령을 내린다. 레벨 4, 5 단계에서도 여전히 필요한 ‘안전 관리자’ 역할이다.

결국 원격 관제는 AI의 불확실성에 대한 인간의 답안이다. 기술이 해결하지 못하는 영역을 사람이 채우는 구조. 단순한 제어 장치가 아니라, 자율주행 서비스 신뢰성을 떠받치는 기둥으로 자리 잡았다.

장점 셋, 그런데 함정도 넷

장점부터 짚고 가자.

• 사고 방지 및 비상 대응: AI가 예측하지 못한 상황에서 인간의 즉각적인 개입이 대형 사고를 막는다. 차량이 길을 잃었을 때 빠르게 재운행을 유도하는 것도 원격 관제의 역할이다.
• 운영 효율 개선: 엣지 케이스에 갇혀 도로를 막는 차량이 줄어든다. 전체 자율주행 서비스의 흐름이 매끄러워지고, 승객 불편이 줄어든다.
• 소비자 신뢰 확보: 자율주행에 막연한 불안을 느끼는 사람들이 아직 많다. ‘언제든 사람이 개입한다’는 사실만으로도 심리적 안전감을 준다. 기술 수용 속도를 높이는 데 실질적인 효과가 있다.

그런데 함정도 있다. Wired가 전한 바에 따르면, 테슬라 로보택시가 원격 오퍼레이터의 개입 과정에서 충돌 사고를 일으켰다. 인간이 개입했다고 반드시 더 안전한 건 아니라는 방증이다.

• 지연 시간(Latency) 문제: 통신망을 거치면 반드시 딜레이가 생긴다. 수백 밀리초. 시속 100km로 달리는 차에서 0.3초는 약 8미터다. 텔레오퍼레이션에서 이 지연은 치명적인 결과로 이어질 수 있다. 오퍼레이터가 실시간으로 상황을 인지하기 어렵게 만드는 구조적 약점이다.
• 인간 오류(Human Error): 피로, 집중력 저하, 상황 오판. 숙련된 오퍼레이터도 실수한다. 자율주행 AI가 내린 ‘안전한’ 판단을 인간이 ‘잘못된’ 판단으로 덮어쓰는 최악의 시나리오도 배제할 수 없다.
• 책임 소재의 미로: 사고가 났을 때 누구 잘못인가. 자율주행 AI인가, 원격 오퍼레이터인가, 통신망인가, 제조사의 설계 결함인가. 네 방향이 동시에 얽힌다. 법적으로 아직 정리가 안 된 영역이다.
• 규모 확장의 벽: 오퍼레이터 한 명이 동시에 여러 대를 관제하는 데 한계가 있다. 차량 대수가 늘면 필요한 오퍼레이터 수도 비례해서 늘어난다. 비용 구조가 선형으로 올라가는 문제다. 이건 좀 심각한 약점이다.

안전을 높이려다 새 위험을 만드는 구조. 인간 개입의 양면성이 여기서 드러난다.

5G·AI·VR, 기술은 어디까지 왔나

이 딜레마를 줄이려는 시도는 계속되고 있다.

• 5G 통신망 활용: 초저지연·초고속·초연결이 특징인 5G는 원격 관제의 고질적인 지연 문제를 크게 줄인다. 오퍼레이터가 거의 실시간으로 차량 상황을 파악하는 환경이 가능해지고 있다.
• AI 기반 지원 시스템: AI가 먼저 위험 상황을 감지하고 오퍼레이터에게 경고를 보낸다. 최적 대응 경로도 추천한다. 오퍼레이터는 AI의 조언을 바탕으로 최종 결정만 내리는 구조다. ‘인간-AI 협업’ 체계로 진화하는 중인데, 솔직히 이쪽이 더 현실적인 방향이라고 본다.
• VR/AR 기반 몰입형 관제: 360도 카메라 영상과 차량 센서 데이터를 통합해 오퍼레이터에게 몰입형 시야를 제공한다. 실제 운전석에 앉은 것처럼 상황을 인지하게 만드는 방식이다. 직접 써보진 못했지만, 개념 자체는 꽤 설득력 있다.
• 예측·예방 기술: 차량이 엣지 케이스에 진입하기 전에 AI가 먼저 감지해 오퍼레이터에게 알린다. 갑작스러운 개입이 아니라 준비된 개입으로 바꾸는 게 핵심이다. 반응 시간이 생기면 오류 가능성이 줄어든다.

기술의 방향은 분명하다. 단순히 ‘사람이 조종’하는 게 아니라, 인간과 AI가 서로의 강점을 나눠 갖는 복합 시스템으로 진화하고 있다. 앞으로 원격 관제는 조종 장치가 아니라 판단 보조 도구에 가까워질 것이다.

기술만으론 반쪽 — 제도와 사람이 따라와야 한다

기술이 아무리 발전해도 제도가 없으면 반쪽짜리다.

• 오퍼레이터 전문성 강화: 원격 관제는 고도의 집중력과 판단력을 요구하는 전문 직업이다. 체계적인 교육 프로그램, 자격 기준, 교대 근무와 피로 관리까지 인간의 한계를 전제로 시스템을 설계해야 한다. 그냥 ‘숙련자’로 뽑는다고 해결될 문제가 아니다.
• 투명한 데이터 공개: 사고가 나면 관제 로그, 오퍼레이터 조작 기록을 투명하게 공개하고 분석해야 한다. 원인을 모르면 개선도 없다. 데이터를 감추는 순간 신뢰도 사라진다.
• 법적·윤리적 기준 마련: 책임 소재를 명확히 할 법 체계가 시급하다. 오퍼레이터의 개입 범위, 개인정보 보호, 해킹 위험까지 사회적 합의가 필요한 이슈들이 쌓여 있다. 기술보다 제도가 늦게 오는 건 자율주행만의 문제가 아니지만, 여기선 속도 차이가 사람 목숨과 직결된다.
• 국제 표준화: 나라마다 다른 기준이 적용되면 글로벌 서비스 자체가 흔들린다. 전 세계에서 통용되는 원격 관제 안전 기준을 만드는 작업이 기술 개발과 병행되어야 한다.

자율주행 원격 관제는 완전 자율이라는 목적지로 가는 길목에 있다. 아직은 과도기다. 하지만 그 과도기를 어떻게 설계하느냐에 따라 도로 위 안전의 질이 달라진다. 인간 개입이 사고를 막기도 하고 일으키기도 한다는 사실은 불편하지만 직시해야 할 현실이다. 결국 핵심은 기술, 제도, 사람이 동시에 발전하는 것이다. 셋 중 하나만 앞서 달리면 남은 둘이 발목을 잡는다. 자율주행의 미래는 AI 혼자 만드는 게 아니다.

출처: Wired

테슬라 오토파일럿을 켜놓고 핸들에서 손을 떼는 영상이 유튜브에 넘쳐난다. 근데 솔직히 저 차, 아직 ‘자율주행’이라 부르기 애매하다. 국제자동차기술자협회(SAE) 기준으로는 레벨 2거든요. 손발은 자유롭지만 눈은 도로에 고정해야 하고, 사고 나면 책임은 운전자한테 있다. 그럼 진짜 자율주행은 언제부터일까? 레벨 0부터 5까지, 단계마다 뭐가 달라지는지 짚어보자.

SAE 6단계, 왜 알아야 하냐면

SAE가 자율주행을 0~5단계로 나눈 건 단순한 기술 수준 분류가 아니다. 운전자 책임 범위가 레벨마다 완전히 달라진다. 레벨 2 사고는 운전자 책임, 레벨 4 사고는 제조사 책임이다. 보험, 법적 분쟁, 사고 보상 — 전부 이 숫자 하나로 판가름 난다. 내 차가 어느 레벨인지 모르면 낭패 본다.

레벨 0: 보조 기능 제로, 100% 운전자 몫

• 특징: 아무것도 없다. 가속, 조향, 제동 전부 직접 해야 한다.
• 운전자 개입: 항상, 전부.
• 책임: 당연히 100% 운전자.
• 예시: 포드 모델 T 같은 초창기 차량, 또는 지금도 일부 저가 기본 모델.

요즘은 레벨 0 차량을 찾기가 오히려 어렵다. 신차라면 최소한 긴급제동 보조 정도는 기본으로 달려 나온다.

레벨 1: 하나씩만 도와주는 단계 — ACC, 차선 유지 보조

• 특징: 조향 또는 가감속, 둘 중 하나만 시스템이 맡는다.
• 운전자 개입: 항상 핸들 잡고 전방 주시. 시스템이 하나를 처리하는 동안 나머지는 운전자 몫이다.
• 책임: 여전히 운전자.
• 예시: 어댑티브 크루즈 컨트롤(ACC) — 앞차 간격 보며 속도 자동 조절. 또는 차선 유지 보조 시스템(LKA) — 차선 중앙을 유지하도록 조향 보조. 둘 중 하나만 한다는 게 포인트다.

장거리 고속도로 운전 피로도를 꽤 줄여주는 건 맞다. 다만 ‘보조’인 만큼 믿고 딴짓하면 안 된다.

레벨 2: 손발은 자유, 근데 눈은 묶여 있다 — 테슬라 오토파일럿, 현대 HDA

• 특징: 조향과 가감속을 동시에 시스템이 제어한다. 특정 조건에서.
• 운전자 개입: 손발은 자유롭지만 전방 주시는 필수다. 시스템이 감당 못 하는 상황이 오면 경고음 울리면서 개입을 요구한다.
• 책임: 사고 나면 운전자. ‘부분 자율주행’이라는 이름에 낚이면 곤란하다.
• 예시: 테슬라 오토파일럿(Autopilot), 현대차 고속도로 주행 보조(HDA). 고속도로처럼 환경이 단순한 곳에서 차선 유지와 차간 거리 조절을 동시에 해준다.

현재 가장 많이 보급된 단계가 레벨 2다. 문제는 이름이 ‘자율’처럼 들린다는 것. 실제로 운전자 과신 사고가 적잖이 난다. 이건 좀 조심해야 하는 지점이다.

레벨 3: 드디어 책임이 넘어가는 지점 — 근데 상용화가 제일 까다롭다

• 특징: 고속도로 정체 구간 같은 특정 조건에서 시스템이 운전 전권을 쥔다. 운전자는 핸들에서 손을 떼고 다른 걸 해도 된다.
• 운전자 개입: 평소엔 필요 없다. 시스템이 못 처리할 상황이 오면 충분한 시간 내에 개입 요청을 받고 운전권을 다시 넘겨받아야 한다. 이 ‘충분한 시간’을 어떻게 정의하느냐가 기술적으로 가장 골치 아픈 부분이다.
• 책임: 시스템이 주도권을 가진 동안 난 사고는 제조사 책임. 개입 요청을 무시하다 난 사고는 운전자 책임이다.
• 예시: 메르세데스-벤츠의 ‘드라이브 파일럿’이 독일에서 레벨 3 인증을 받아 상용화됐고, 혼다의 ‘센싱 엘리트’도 일본에서 출시됐다. 복잡한 도심보다는 고속도로 정체 구간처럼 제한적인 환경에서 활용된다.

레벨 3이 의미 있는 이유는 단순하다. 사고 책임이 처음으로 사람에서 기계로 넘어가는 단계거든요. 그만큼 법적·윤리적 검토가 엄격하다. 전 세계 대부분 국가에서 아직 인증이 제한적인 것도 이 때문이다.

레벨 4: 로보택시의 단계 — 지역 제한은 여전히 있다

• 특징: 정해진 운영 설계 영역(ODD) 안에서 시스템이 완전히 혼자 운전한다. 비상 상황도 스스로 처리한다.
• 운전자 개입: 없음.
• 책임: ODD 내 사고는 전부 제조사 몫.
• 예시: 구글 웨이모(Waymo), GM 크루즈(Cruise). 피닉스, 샌프란시스코 일부 지역에서 무인 로보택시로 운행 중이다. 다만 전천후는 아니다. 폭설이나 특수 도로 상황에서는 아직 한계가 있다.

레벨 4는 인상적이지만 ‘어디서나’는 아니다. 운영 지역 바깥에선 그냥 일반 차량이다. 이 ODD의 범위를 얼마나 넓히느냐가 레벨 4 업체들의 다음 과제인 셈이다.

레벨 5: 아직 지구 어디에도 없는 차

• 특징: 모든 도로, 모든 기상 조건에서 완전 무인. 핸들·페달이 아예 없는 차도 이론상 가능하다.
• 운전자 개입: 없음. 사람은 그냥 승객이다.
• 책임: 전부 제조사.
• 예시: 상용화된 레벨 5는 현재 없다. 목적지만 입력하면 어디든 데려다주는 완전 무인차 — 여전히 영화 속 얘기다.

언제쯤 나올까. 업계 전문가들 사이에서도 의견이 갈린다. 2030년대 낙관론도 있고, 현실적으로 불가능하다는 회의론도 있다. 변수가 너무 많다.

텔레오퍼레이터 — 레벨 4 뒤에 있는 사람들

레벨 4 로보택시가 달리는 동안, 어딘가에 사람이 앉아 화면을 보고 있다. 텔레오퍼레이터(Teleoperator)다. 예측 불가능한 공사 구간, 사고 현장, 센서 오작동 같은 돌발 상황에서 원격으로 차량을 제어하거나 지침을 내리는 역할을 한다. TechCrunch 보도를 보면 테슬라 로보택시 관련 사고에서도 텔레오퍼레이터 개입 사례가 나온다. 레벨 4라도 100% 완벽하지 않다는 얘기다.

기술이 아무리 정교해져도 예외 상황은 생긴다. 텔레오퍼레이터는 그 예외를 인간이 커버하는 구조다. 레벨 5로 가기 전까지 이 구조는 꽤 오래 유지될 것 같다. 기술의 빈틈을 사람의 경험과 판단으로 메우는, 과도기의 현실적인 방식이다.

지금 현실 — 레벨 2가 주류, 나머지는 진행 중

2026년 현재 도로 위 대부분은 레벨 2다. 레벨 3는 독일, 일본 등 일부 국가에서만 제한적으로 허용됐다. 레벨 4 로보택시는 미국 몇 개 도시에서 서비스 중이다. 레벨 5는 없다.

• 안전성 검증: 수십억 킬로미터의 주행 데이터를 쌓아야 한다. 오래 걸린다.
• 책임 규정: 사고 시 제조사와 운전자 중 누구 책임인지 — 국가마다 법이 다르고, 아직 기준이 없는 나라도 많다.
• 운전자 모니터링: 레벨 2, 3에서 운전자가 주의를 기울이는지 정확히 감지하는 기술도 중요한 과제다.
• 인프라: 스마트 도로, V2X 통신 인프라가 뒷받침돼야 한다. 소프트웨어만의 문제가 아니다.

기술이 앞서도 법과 인프라가 따라오지 않으면 도로 위에 못 올라온다. 레벨 5의 현실화가 늦어지는 건 기술 문제만이 아니다. 결국 자율주행은 자동차 회사 혼자 만들어낼 수 없다 — 정부, 도시, 보험사, 시민 전체가 함께 만드는 시스템이다.

출처: TechCrunch

로봇팔이 관절을 잘못 짚어 멈추는 장면은 현장에서 여전히 흔하다. 물건 모양이 조금 달라지거나 컨베이어 속도가 바뀌면 끝이다. 멈추거나 오작동이다. 기존 로봇은 사전 프로그래밍된 범위 안에서만 작동하는 구조라, 예외 상황에 극히 취약했다. Ars Technica가 최근 보도한 키네마틱 인텔리전스(Kinematic Intelligence) 연구는 강화 학습과 통합 제어 소프트웨어가 이 두 문제를 동시에 파고드는 사례다.

로봇이 멈추는 이유, 의외로 단순하다

로봇 공학자들이 오래 붙잡고 있던 문제는 ‘유연성 결여’다. 로봇은 설계된 대로만 움직인다. 작업 환경이 조금만 바뀌면 오작동이다. 로봇팔처럼 물리적 접촉이 잦은 구조에서는 미세한 각도 오차 하나가 관절 걸림(Jamming) 현상으로 이어진다. 이게 반복되면 고장이고, 고장은 라인 전체를 세운다.

핵심 결함은 자기 상태를 실시간으로 인지하는 능력 부재다. 센서 데이터를 읽고 즉각 움직임을 보정하는 피드백 루프가 약하거나 아예 없었다. 결국 정해진 루틴만 반복하는 로봇과 예측 불가 환경 사이의 간극은 좁혀지지 않았다.

혼자 똑똑해지는 법: 강화 학습과 시뮬레이션

최근 로봇 성능 향상의 중심은 인공지능(AI)과 머신러닝이다. 예전에는 모든 동작을 엔지니어가 직접 코딩했다. 이제는 AI가 데이터를 보고 스스로 최적 경로를 찾는다.

• 강화 학습(Reinforcement Learning): 성공하면 보상, 실패하면 페널티. 이 단순한 구조로 로봇이 스스로 움직임을 조정한다. 물건 잡기에 성공하면 그 패턴을 강화하고, 허공을 집으면 다음엔 각도를 수정한다. 사람이 코드 한 줄 안 써도 된다.
• 시뮬레이션 기반 학습: 실제 로봇으로 수백만 번 테스트하면 기계가 먼저 망가진다. 가상 환경에서 같은 횟수를 돌리면 데이터만 쌓인다. 여기서 최적화한 파라미터를 실제 로봇에 이식하면 학습 시간이 대폭 줄어든다. 솔직히 게임 체인저 수준이다.

이 과정을 거치면 로봇은 처음 보는 형태의 물건도 잡고, 장애물이 갑자기 나타나도 경로를 바꾼다. ‘정해진 대로’ 움직이던 기계에서 ‘상황을 읽고 적응하는’ 기계로의 전환이다.

서로 다른 로봇이 한 팀이 되려면

혼자 잘하는 것과 같이 잘하는 건 다른 문제다. 공장 라인 하나에도 로봇팔, 자율주행 카트, 검사 로봇 등 제조사가 제각각인 장비가 뒤섞인다. 하드웨어 구조도, 통신 프로토콜도, 데이터 포맷도 다 다르다. 언어가 다른 사람 셋이 무전기 하나로 작업을 조율하는 셈이다.

이걸 해결하는 게 통합 제어 소프트웨어다. 중개자 역할로, 서로 다른 로봇들이 같은 목표를 향해 움직이도록 조율한다.

• 데이터 표준화: 각 로봇이 내뱉는 데이터를 공통 포맷으로 변환한다. 로봇 A의 토크 값과 로봇 B의 위치 좌표가 같은 언어로 바뀌어야 중앙 시스템이 읽는다.
• 학습 경험 공유: 로봇 1번이 복잡한 조립 순서를 터득하면, 그 데이터가 2번·3번 로봇에 즉시 전파된다. 개별 학습을 반복할 필요 없이 전체 라인이 동시에 숙련된다. 현장에서 실제로 되면 생산성 차이가 꽤 크다.
• 실시간 충돌 조율: 로봇 여러 대가 좁은 공간에서 동시 작업할 때, 경로 충돌을 실시간 감지해 각자의 동선을 재조정한다. 사람이 교통정리를 안 해도 된다.

이 구조가 갖춰지면 서로 다른 제조사의 로봇팔과 자율주행 로봇이 한 공정을 나눠 맡아 완성하는 게 가능해진다. 현재 일부 대형 물류 센터에서는 이미 실용 단계다.

공장 바깥의 적용처들

이 기술이 제조업에만 해당한다고 보면 좁게 보는 거다.

• 제조·물류: 개인 맞춤 생산이 가능해진다. 동일 제품 대량 생산에서, 주문마다 다른 스펙을 소화하는 방향으로 전환된다. 물류 비용 절감 효과도 직접적이다.
• 의료·돌봄: 수술 보조 로봇의 정밀도가 올라간다. 노인 돌봄 로봇은 사용자의 생활 패턴을 학습해 더 자연스러운 대응이 가능해진다.
• 재난 구조: 사람이 못 들어가는 붕괴 현장이나 방사능 구역에서 로봇 여러 대가 역할을 나눠 수색한다. 단독 로봇보다 훨씬 넓은 범위를 커버한다.
• 스마트 홈: 청소 로봇에서 시작해서, 가족 일정을 학습하고 냉장고·조명과 연동하는 방향으로 간다. 아직은 갈 길이 멀지만, 방향은 정해졌다.

풀리지 않은 문제들

기술 발전 속도가 빠른 건 맞다. 그래도 걸리는 부분이 있다.

• 안정성·신뢰성: AI는 학습 데이터 밖의 상황에서 오류를 낸다. 의료 현장이나 구조 작업처럼 실수 한 번이 치명적인 분야에서는 절대적 안정성 확보가 아직 미완이다.
• 데이터 보안·프라이버시: 로봇이 수집하는 데이터 양이 많아질수록 유출 리스크도 커진다. 가정용 로봇이 가족 생활 패턴을 쌓아두는 구조라면, 보안 설계가 제품 설계만큼 중요하다.
• 윤리·책임 소재: 로봇의 자율 판단이 사고로 이어졌을 때 누가 책임지는가. 제조사, 운영자, 알고리즘 개발자 — 법적 기준이 없는 나라가 대부분이다.
• 도입 비용: 고성능 AI 로봇 시스템은 아직 비싸다. 대기업 중심 실용화에서 중소 제조업체까지 내려오려면 시간이 더 걸린다.

이 과제들이 해소돼야 AI 로봇이 범용 도구로 자리잡는다. 기술 과시용 프로토타입에서 현장 투입 가능한 시스템으로 넘어오는 문턱이 바로 여기다.

핵심만 3줄 요약

• 강화 학습·시뮬레이션 기반 학습으로 로봇이 스스로 동작을 최적화하고 환경 변화에 적응하는 능력을 갖춘다.
• 통합 제어 소프트웨어가 제조사가 다른 로봇들 사이에서 데이터 표준화, 학습 공유, 실시간 충돌 조율을 담당한다.
• 제조·물류·의료·재난 구조까지 적용 범위는 넓지만, 안정성·보안·윤리·비용 문제가 상용화의 실질적 변수다.

출처: Ars Technica

로봇이 사과를 처음 봤는데 집어 올린다. 사전에 사과 데이터를 넣어준 게 아니라 스스로 추론해서. 이게 지금 로보틱스에서 실제로 일어나는 일이다.

기존 로봇이 멈추는 지점

공장 로봇 팔 하나를 세팅하는 데 얼마나 걸릴까. 볼트 조이는 각도, 이동 속도, 감지 범위—전부 코드로 정의해야 한다. 새 부품이 들어오거나 라인이 바뀌면? 처음부터 다시 짠다. 유연성이 거의 없었다.

• 기존 로봇의 한계: 특정 작업 전용 설계, 환경 변화에 취약, 새 작업마다 전면 재프로그래밍 필요.
• 파운데이션 모델 로봇의 가능성: 여러 작업을 유연하게 처리, 처음 보는 환경에서도 적응, 스스로 학습하고 추론.

이 벽을 부수려는 시도가 파운데이션 모델(Foundation Model) 적용이다. 인간이 배운 개념을 다른 상황에 응용하듯, 로봇도 방대한 데이터로 학습해 배우지 않은 작업을 스스로 추론하는 방향으로 진화 중이다.

파운데이션 모델, 개념부터 짚고 가면

원래 LLM(거대 언어 모델) 쪽 용어다. ChatGPT가 대표적인 예인데—수십억 건의 텍스트 데이터를 사전 학습해서 번역, 요약, 코딩, 질문 답변을 하나의 모델로 처리한다. 작업마다 모델을 새로 만들지 않아도 된다는 게 핵심.

로봇에 적용하면 텍스트 대신 로봇 동작 데이터, 카메라 영상, 촉각 센서 신호, 제어 명령어 같은 물리적 상호작용 데이터를 대규모로 학습시킨다. 특정 작업에 묶이지 않고 여러 환경에 대응하는 범용 로봇 지능의 기반이 된다.

실제로 어떻게 작동하나

‘테이블 위 사과를 바구니에 넣어라’—이 명령을 받은 로봇이 사과를 한 번도 학습한 적이 없다고 치자. 그래도 이 로봇은 수백만 건의 조작 경험을 이미 갖고 있다. 둥근 물체 잡기, 특정 위치로 옮기기. 그 경험에서 사과의 형태를 유추하고, 집는 방법을 계산한다. 솔직히 여기서 기존 로봇이랑 갈린다.

• 데이터 학습: 로봇 동작, 센서 측정값, 환경 정보를 통합 학습.
• 환경 이해: 물체의 위치, 형태, 무게감 등을 실시간 파악.
• 행동 추론: 주어진 목표에 따른 최적 동작 시퀀스를 자체 생성.
• 유연한 대응: 물체가 굴러가거나 예상 밖 변수가 생겨도 즉각 수정.

아기가 여러 물건을 만지고 떨어뜨리면서 ‘무거운 것’, ‘미끄러운 것’을 몸으로 익히는 과정이랑 비슷하다. 모델 안에 축적된 세계 지식이 새 상황의 해답 역할을 한다.

어디에 쓰이나

적용 가능한 분야를 짚어보면 생각보다 넓다.

• 제조·물류: 생산 라인에 새 부품이 들어와도 재프로그래밍 없이 즉시 적응. 물류 창고에서 무작위로 쌓인 물품을 식별·분류하는 속도도 빨라진다.
• 서비스 로봇: 호텔, 병원에서 안내·서빙만 하던 로봇이 고객의 즉흥적인 요청까지 처리하는 방향으로 진화 중.
• 재난·탐사: 지도가 없는 현장에서 스스로 경로를 찾고 장애물을 넘거나 우회. 인명 구조 시나리오 테스트가 실제로 진행 중이다.
• 가정용 로봇: 청소·정리 수준에서 식사 준비 보조처럼 매번 다른 판단이 필요한 작업으로 확장 중. 완성형은 아직이지만, 방향은 명확하다.

공통 키워드는 ‘인간 개입 최소화’다. 예외 상황마다 담당자가 끼어들어 수동 처리할 필요가 줄어든다.

기존 AI 로봇이랑 뭐가 다른가

기존 방식은 두 갈래였다. 규칙 기반—개발자가 ‘이 상황엔 이렇게’를 전부 코딩. 또는 지도 학습—정답 레이블이 붙은 데이터로 특정 패턴 인식에 특화. 두 방식 다 적용 범위가 좁다.

• 기존 로봇 AI:
  • 작동 방식: 특정 작업 전용 규칙과 데이터로 학습.
  • 유연성: 낮음. 시나리오를 벗어나면 오작동하거나 정지.
  • 개발 방식: 작업마다 별도 모델 개발 필요.
• 파운데이션 모델 로봇:
  • 작동 방식: 방대한 비정형 데이터 사전 학습, 이후 자체 추론.
  • 유연성: 높음. 새 환경과 작업에 일반화 적용.
  • 개발 방식: 하나의 기반 모델에서 다양한 작업으로 파생.

결정적 차이는 ‘일반화(Generalization)’ 능력에 있다. 기존 로봇이 ‘A → B’만 알았다면, 파운데이션 모델 로봇은 ‘A, C, D의 공통 패턴을 보면 처음 보는 E도 비슷하게 다루면 된다’고 스스로 판단한다. 이 차이가 활용 범위를 완전히 갈라놓는다.

아직 넘어야 할 것들

가능성만 있고 현실은 멀다는 얘기가 아니다. 빠르게 발전 중인 건 맞는데—동시에 해결 안 된 문제도 선명하다.

• 데이터 문제: 텍스트는 인터넷에서 수집하면 되지만, 로봇 조작 데이터는 실물 로봇이 직접 움직이며 쌓아야 한다. 비용도 시간도 만만치 않다.
• 연산 자원: 학습에 드는 GPU 클러스터 규모와 전력 소모가 크다. 현재는 대기업 연구소 수준에서 감당하는 영역이다.
• 안전성: 로봇이 스스로 판단하다가 잘못 행동하면 소프트웨어 버그와 달리 물리적 피해가 발생한다. 이 부분은 진지하게 다뤄야 한다.
• 블랙박스 문제: 로봇이 왜 그 행동을 했는지 설명하기 어렵다. 책임 소재가 불분명해지는 현실적 문제다.

효율적 학습 방법론, 모델 경량화, 안전 메커니즘—이 세 방향에서 연구가 동시에 달리고 있다. 속도는 생각보다 빠르다.

결국 뭐가 달라지나

반복적이고 위험한 작업이 줄고, 인간이 더 창의적인 일에 집중하게 된다. 고령화 사회에서 노인 돌봄 보조 역할도 현실적인 기대 항목이다. 이건 좀 과한 기대처럼 들릴 수도 있는데, 연구 속도를 보면 꼭 그렇지도 않다.

일자리 변화는 당연히 따라온다. 윤리 문제도 함께다. 기술이 먼저 치고 나가고 규범이 뒤따르는 패턴, 이번엔 좀 달라야 한다는 목소리가 나오는 이유다.

로봇은 정해진 틀 안에서만 움직이는 기계에서 유연한 지능으로 인간 옆에서 일하는 존재로 바뀌고 있다. 파운데이션 모델이 그 전환을 이끄는 기술이다. TechCrunch 보도에 의하면, Physical Intelligence 같은 로보틱스 스타트업은 이미 학습하지 않은 작업을 처리하는 로봇 데모를 공개한 상태다.

출처: TechCrunch