[태그:] 자율주행

애플이 접은 자율주행차 프로젝트, 한 번쯤 들어봤을 거다. 몇 년을 쏟아붓고 결국 차는 못 만들었다. 그런데 이 프로젝트가 남긴 게 실패한 자동차 한 대만은 아니라는 분석이 나온다. 지금 아이폰과 맥에 들어가는 AI 칩, 그 설계 기반이 여기서 나왔다는 얘기다. 블룸버그 마크 거먼 기자가 전한 바에 따르면, 애플은 자율주행차용 온디바이스 AI 처리 성능을 확보하는 과정에서 쌓은 노하우를 뉴럴엔진 설계에 그대로 이식했다. 차는 못 만들었지만, 그 과정에서 얻은 칩 기술이 오늘날 애플 실리콘을 AI 작업에 강하게 만든 셈이다.

이 이야기를 계기로 정리해볼 만한 게 하나 있다. 뉴럴엔진이 정확히 뭘 하는 부품인지, M시리즈 칩마다 AI 성능이 얼마나 차이 나는지, 로컬에서 AI를 돌리려면 맥북을 어떤 기준으로 골라야 하는지. 이 세 가지다.

애플 칩이 AI에 유독 강한 이유

애플 실리콘은 CPU, GPU, 뉴럴엔진이 메모리를 공유하는 통합 메모리 구조다. 인텔 CPU에 별도 그래픽카드를 얹는 조합과는 다르다. 데이터를 이곳저곳으로 복사할 필요 없이 한 곳에 모아두고 세 가지 연산 장치가 동시에 접근한다. AI 모델을 돌릴 때는 이 구조가 속도와 전력 효율, 두 마리 토끼를 다 잡는다. 여기에 더해 애플은 클라우드 서버가 아니라 기기 안에서 연산을 끝내는 방향을 오래전부터 밀어왔다. 사진 속 얼굴 인식, 문장 자동완성, 음성 인식 같은 기능을 기기 안에서 처리하려면 전용 AI 가속기가 필수다. 그게 바로 뉴럴엔진이다.

뉴럴엔진이 실제로 하는 일

뉴럴엔진은 CPU나 GPU와는 별도로 마련된 AI 연산 전용 칩 블록이다. 초당 처리 가능한 연산 횟수를 TOPS(Tera Operations Per Second)라는 단위로 표시하는데, 숫자가 클수록 같은 시간에 더 많은 AI 연산을 소화한다는 뜻이다. 아이폰의 얼굴 인식, 사진 앱의 인물·사물 구분, 시리의 음성 처리, 맥의 실시간 자막 번역. 이런 기능 대부분이 이 부품에서 돌아간다. 클라우드로 데이터를 보내지 않고 기기 안에서 끝내다 보니 반응 속도가 빠르고, 개인정보도 밖으로 새지 않는다. 이 부분은 솔직히 애플이 잘 잡은 방향이라고 본다.

M1부터 M4까지, 칩별 AI 성능 비교

세대가 바뀔 때마다 뉴럴엔진 성능도 큰 폭으로 뛰었다.

• M1: 뉴럴엔진 11 TOPS, 첫 세대치고 준수한 수준
• M2: 15.8 TOPS, 로컬 이미지 생성 모델도 무난하게 소화
• M3: 18 TOPS, GPU 레이 트레이싱까지 함께 강화
• M4: 38 TOPS로 전작 대비 2배 이상 도약, 애플이 처음으로 AI 성능을 정면에 내세운 세대

숫자만 보면 M4가 압도적이다. 다만 실제 체감 차이는 어떤 작업을 하느냐에 따라 갈린다. 이건 좀 케이스 바이 케이스다.

용도별로 맥북 고르는 법

• 문서 작업, 웹서핑, 가벼운 사진 보정: M1이나 M2 에어로 충분하다. 굳이 최신 칩에 돈을 더 쓸 이유가 없다.
• 로컬 LLM 구동(라마, 미스트랄 등 오픈소스 모델): M3 프로 이상, RAM 32GB를 기준으로 삼는 게 안전하다.
• 이미지 생성(Stable Diffusion), AI 영상 편집: M4 프로나 맥스, RAM 32~64GB급을 권장한다.
• 대형 모델 연구·개발용: M4 맥스에 RAM 64GB 이상. 여기까지 필요한 사람은 사실 소수다.

RAM은 얼마나 필요할까

애플 실리콘은 CPU, GPU, 뉴럴엔진이 메모리를 나눠 쓰는 구조라서 RAM 용량이 곧 AI 성능의 상한선을 결정한다. 로컬에서 언어 모델을 돌린다면 대략 이런 기준으로 잡으면 된다.

• 70억 파라미터급 모델: RAM 8~16GB로 실행 가능
• 130억 파라미터급 모델: RAM 16~24GB 권장
• 700억 파라미터급 모델: RAM 64GB 이상 필요

저장 공간은 넉넉해도 RAM이 부족하면 모델 자체가 안 돌아간다. 맥북 살 때 SSD 용량보다 RAM 용량부터 챙겨야 하는 이유가 여기 있다.

윈도우 노트북과 비교하면 어떨까

퀄컴 스냅드래곤 X 엘리트를 탑재한 이른바 코파일럿+PC는 NPU 성능 40 TOPS를 마이크로소프트 인증 기준으로 내걸었다. 숫자만 보면 M4의 38 TOPS와 비슷하다. 하지만 실제 AI 앱 생태계와 최적화 수준은 아직 애플 쪽이 한발 앞서 있다는 평가가 많다. 반대로 게임이나 범용 소프트웨어 호환성에서는 윈도우 진영이 여전히 유리하다. AI 작업 비중이 크다면 맥, 범용성과 호환성을 우선한다면 윈도우. 이 정도로 나눠서 생각하면 답이 나온다.

자주 묻는 질문 몇 가지

Q. 인텔 맥으로는 로컬 AI를 못 쓰나?
전용 뉴럴엔진이 없어서 클라우드 기반 AI 기능 위주로만 쓸 수 있다. 로컬 LLM 구동은 사실상 권장하지 않는다.

Q. 아이폰도 맥과 같은 구조인가?
A시리즈 칩에도 동일한 개념의 뉴럴엔진이 들어간다. 세대별 TOPS 수치는 다르지만 설계 철학은 같다.

Q. 굳이 맥스 칩까지 필요할까?
대형 모델을 직접 돌리거나 영상·3D 작업을 전문적으로 하는 게 아니라면 프로 등급으로 충분하다. 맥스는 오버스펙인 경우가 많다. 괜히 돈만 더 나가는 셈이다.

출처: The Verge

로봇 팔 하나가 컵을 집어 올리는 법을 제대로 익히려면 수천 시간의 시행착오가 필요하다. 사람은 몇 번만 보여줘도 곧잘 따라 하는데 말이다. 이 격차를 메우려는 시도가 최근 로봇공학 업계에서 피지컬 AI(Physical AI)라는 이름으로 빠르게 번지고 있다. 검색해보면 정의가 제각각이라 헷갈리는 사람이 많아, 개념부터 실제 적용 사례까지 순서대로 짚어본다.

피지컬 AI, 정확히 뭘 말하는 걸까

피지컬 AI는 카메라, 센서, 로봇 팔처럼 물리적인 몸체를 가진 기계가 주변을 인식하고 스스로 판단해 움직이도록 만드는 AI 기술을 통칭한다. 챗GPT 같은 언어 모델이 텍스트를 이해하고 만들어내는 데 특화됐다면, 피지컬 AI는 공간, 중력, 물체의 무게와 마찰력 같은 물리 법칙을 학습해야 한다는 점이 다르다. 둘 다 ‘똑똑한 AI’라 불리지만, 다루는 데이터의 결이 완전히 다른 셈이다.

로봇 학습이 유독 어려운 진짜 이유

언어 모델은 인터넷에 널린 텍스트와 이미지를 긁어모으면 학습이 된다. 로봇이 물건을 집고 옮기는 동작 데이터는? 인터넷 어디에도 없다. 로봇 팔을 실제로 움직여가며 데이터를 쌓으려면 제약이 한둘이 아니다.

• 로봇 하드웨어 구입과 유지 비용부터 만만치 않다
• 사람이 옆에서 직접 조작하거나 시연해야 하는 경우가 많아 시간이 오래 걸린다
• 넘어지거나 부딪히는 실패 사례를 모으다 보면 장비가 망가지기 십상이다
• 같은 동작도 조명, 바닥 재질, 물체 형태를 바꿔가며 반복해야 겨우 일반화된다

결국 로봇용 학습 데이터는 텍스트 데이터보다 수집 단가가 몇 배는 비싸다. 로봇공학이 오랫동안 ‘데이터 병목’을 못 풀었던 배경이다.

게임 데이터와 시뮬레이션이 대안으로 뜬 배경

여기서 나온 아이디어가 비디오 게임 플레이 영상이나 시뮬레이션 환경을 끌어다 쓰는 방식이다. 1인칭 슈팅 게임이나 오픈월드 게임 속 캐릭터가 물체를 집고, 문을 열고, 장애물을 피하는 장면에는 물리 엔진 기반 동작 데이터가 이미 방대하게 쌓여 있다. 이걸 그대로 로봇에 이식하기는 무리지만, 물체와 상호작용하는 패턴이나 공간 이동 규칙을 먼저 익히는 사전 학습 재료로는 쓸 만하다는 게 최근 스타트업들의 계산이다. 실제 로봇 데이터가 부족해도, 게임에서 뽑아낸 수백만 시간 분량의 상호작용 영상으로 기초 체력을 먼저 다지고, 모자란 부분만 소량의 실제 데이터로 미세 조정하는 전략이다. 좀 억지스럽게 들릴 수도 있는데, 실제로 성과를 내는 팀들이 나오고 있다.

파운데이션 모델과 로봇공학이 만나는 지점

파운데이션 모델은 방대한 데이터를 미리 학습해 범용 능력을 갖춘 뒤, 특정 작업에 맞춰 추가 학습(파인튜닝)하는 AI 모델을 뜻한다. 구글 딥마인드의 RT-2, 엔비디아의 GR00T가 대표적이다. 이런 모델은 사람이 일일이 ‘이럴 땐 이렇게 움직여라’고 코딩해주지 않아도, 언어 명령을 물리적 동작으로 바로 바꿔낸다. “빨간 컵을 왼쪽 선반에 올려줘” 같은 문장을 알아듣고 그에 맞는 팔 동작을 계산해내는 식이다. 엔비디아가 Isaac Sim 같은 시뮬레이션 플랫폼에 공들이는 이유도 여기 있다. 실제 로봇을 돌리지 않고도 가상 환경에서 안전하게 대량의 학습 데이터를 뽑아낼 수 있어서다.

실제로 어디에 쓰이고 있나

피지컬 AI는 이미 몇몇 영역에서 상용화 단계에 들어섰다.

• 물류센터 피킹 로봇 — 크기 제각각인 박스를 인식하고 분류
• 제조 공장 조립 라인 — 부품 정렬, 용접 위치 자동 보정
• 가정용 청소 로봇과 서빙 로봇 — 장애물 회피, 경로 재계산
• 자율주행차의 상황 판단 — 보행자, 신호, 돌발 장애물에 대한 물리적 반응

자율주행과 산업용 로봇이 결국 같은 기술 뿌리를 공유한다는 점도 눈여겨볼 만하다. 도로 위 상황 판단이든 창고 안 물체 회피든, 본질은 ‘물리 세계를 이해하고 안전하게 반응하는’ 같은 문제이기 때문이다.

남은 변수들 — sim-to-real 간극

게임이나 시뮬레이션에서 배운 걸 실제 로봇에 그대로 옮기면 어긋나는 경우가 적지 않다. 가상 공간의 마찰력과 실제 바닥의 마찰력은 다르고, 카메라 노이즈나 조명 변화 같은 변수도 시뮬레이션에서는 완벽히 재현하기 어렵다. 이걸 ‘시뮬레이션-실제 간극(sim-to-real gap)’이라 부르는데, 이 간극을 얼마나 좁히느냐가 피지컬 AI 스타트업들의 경쟁력을 가르는 핵심 변수로 꼽힌다. 안전 인증, 제조 단가, 전력 소모 문제도 실제 배포 단계에서 계속 발목을 잡는다. 로봇공학 쪽 채용 공고나 스타트업 투자 소식을 눈여겨보는 사람이라면, ‘어떤 데이터로 학습시켰는가’와 ‘실제 환경 전이 성능을 어떻게 검증했는가’, 이 두 질문에 대한 답부터 확인해보길. 옥석을 가리는 데 도움이 될 거다.

출처: TechCrunch

테슬라 FSD가 고속도로를 혼자 달리는 영상은 이제 흔하다. 웨이모 로보택시는 샌프란시스코 도심을 운전자 없이 운행 중이다. 그런데 막상 “저 차가 어떻게 움직이는 거야?”라고 물으면 제대로 아는 사람이 많지 않다. 센서가 여러 개라는 건 알겠는데, 그게 어떻게 조합돼서 판단을 내리는지, 레벨 2랑 레벨 4가 실제로 뭐가 다른지 — 이걸 한 번에 정리해본다.

자율주행차, 결국 세 가지 질문을 푸는 기계다

자율주행차가 스스로 달리려면 세 가지를 해결해야 한다. 지금 주변에 뭐가 있나, 어디로 가야 하나, 어떻게 움직이나. 이 세 질문에 실시간으로 답하는 게 자율주행의 전부다. 들으면 단순해 보이는데 실제론 엄청 복잡하다. 신호등 색 바뀌는 타이밍, 갑자기 뛰어드는 보행자, 도로 위 비닐봉지까지 — 이런 변수가 초당 수백 개씩 쏟아진다. 그걸 전부 처리해야 한다.

기술의 최종 목표는 운전 부담 제거와 교통사고 감소다. 사람보다 반응이 빠르고, 졸리지도 않고, 술도 안 마신다. 이론상으론 완벽한 운전자다. 이론상으론.

자율주행차의 눈과 귀 — 핵심 센서 기술

차가 세상을 인식하려면 감각이 있어야 한다. 자율주행차는 카메라·라이다·레이더·초음파·GPS를 조합해 사람의 오감을 대신한다. 각각 역할이 다르다.

• 카메라: 가장 기본적인 센서다. 차선, 신호등, 표지판, 보행자를 읽어낸다. 색과 형태 구분은 카메라가 제일 낫다. 단점은 야간, 역광, 폭우에서 성능이 뚝 떨어진다는 것. 테슬라는 카메라만 쓰는 방식을 고집하는데, 업계에서 논란이 꽤 된다.
• 라이다 (LiDAR): 레이저 펄스를 쏴서 반사 시간으로 3D 지도를 만든다. 거리·형태·속도를 센티미터 단위로 잰다. 웨이모가 대표적으로 쓰는 방식이다. 문제는 단가가 수백만 원대라 양산 차량에 얹기가 쉽지 않고, 짙은 안개에도 약하다.
• 레이더 (Radar): 전파로 물체와의 거리·속도를 측정한다. 악천후에 비교적 강하고, 100m 이상 원거리 탐지에 유리하다. 앞차 간격 유지나 충돌 방지 시스템에 주로 쓰인다. 형태 인식은 카메라나 라이다보다 떨어진다.
• 초음파 센서: 주차할 때 삑삑 소리 내는 그것이다. 단거리, 수 미터 이내 물체 감지용이다. 저렴하고 설치가 쉽지만 범위가 짧아서 저속 주차 보조 이상으론 쓰기 어렵다.
• GPS/IMU (관성 측정 장치): 차량의 위치를 잡고, 기울기·방향·속도 변화를 계속 측정한다. 고정밀 지도와 결합하면 현재 위치를 수십 센티미터 단위로 추정한다.

이 센서들을 따로따로 쓰면 의미가 없다. 카메라는 밤에 흐리고, 라이다는 안개에 약하고, 레이더는 형태를 못 읽는다. 그래서 이 모든 데이터를 하나로 합치는 센서 퓨전이 핵심이다. 눈·귀·손에서 온 정보를 종합해 판단하듯, 각 센서가 서로의 맹점을 메운다. 어느 하나가 오류를 내도 나머지가 버텨주는 구조다.

자율주행차의 두뇌 — AI와 소프트웨어

센서가 데이터를 모으면 AI가 해석한다. 인식 → 판단 → 제어, 세 단계다.

• 데이터 처리 및 환경 인식: AI가 도로 위 모든 객체를 분류한다. 저건 사람, 저건 자전거, 저건 공사 표지판. 딥러닝이 여기서 핵심이다. 수억 장의 실제 주행 이미지로 학습해 패턴을 익힌다. 2024년 기준, 주요 자율주행 업체들은 수십억 킬로미터의 주행 데이터를 보유 중이다.
• 경로 계획 및 의사 결정: 현재 위치에서 목적지까지, 실시간 교통 흐름과 주변 차량 움직임을 보면서 경로를 짠다. 옆 차가 3초 후에 끼어들 것 같다면 미리 속도를 줄인다. 이런 예측과 대응이 초당 수십 번씩 일어난다.
• 고정밀 지도 (HD Map): 일반 내비게이션 지도와 차원이 다르다. 차선 폭, 신호등 정확한 위치, 도로 경사도, 커브 곡률까지 센티미터 단위로 담겨 있다. 자율주행차가 GPS 오차를 보정하고 스스로 위치를 정밀하게 추정하는 기반이다.
• V2X (Vehicle-to-Everything) 통신: 차와 차, 차와 신호등, 차와 보행자 스마트폰이 서로 신호를 주고받는다. 앞에 트럭이 가려 교차로가 안 보여도, 교차로 너머 차량 정보를 미리 받아 대비한다. 센서만으론 볼 수 없는 영역을 커버한다.

AI 모델은 달리면 달릴수록 정교해진다. 실제 주행 데이터가 쌓이면 학습이 개선되고, 개선된 모델이 다시 차에 탑재된다. 이 순환 구조 덕분에 자율주행 시스템은 출시 후에도 계속 성장한다. 데이터가 곧 경쟁력인 이유다.

자율주행 기술 어디까지 왔나 — SAE 레벨 0~5

미국자동차공학회(SAE)가 정의한 6단계 분류가 업계 표준이다. 숫자가 올라갈수록 차가 알아서 하는 범위가 넓어진다.

• 레벨 0 (No Automation): 운전자가 전부 다 한다. 자동화 기능 없음.
• 레벨 1 (Driver Assistance): 기능 하나만 자동. 어댑티브 크루즈 컨트롤(ACC)이나 차선 유지 보조(LKA) 중 하나. 나머지는 운전자 몫이다.
• 레벨 2 (Partial Automation): ACC와 LKA를 동시에 쓰는 수준. 지금 팔리는 고급 세단 대부분이 여기다. 차가 핸들과 가속을 같이 제어하지만, 눈은 계속 도로에 있어야 한다. 손 놓으면 경고한다.
• 레벨 3 (Conditional Automation): 고속도로 정체 구간 같은 특정 조건에서는 차가 전부 알아서 한다. 운전자는 그 사이 다른 것을 봐도 된다. 단, 시스템이 “이제 네가 운전해”라고 요청하면 즉시 넘겨받아야 한다. 이 레벨이 기술적으로 가장 까다롭다. 사고 시 책임 소재 문제가 복잡해서 상용화가 느리게 진행 중이다.
• 레벨 4 (High Automation): 정해진 구역(ODD, Operational Design Domain) 안에서는 운전자가 아예 없어도 된다. 비상 상황도 차가 스스로 처리하거나 갓길에 선다. 웨이모 로보택시가 목표로 하는 레벨이다.
• 레벨 5 (Full Automation): 어디서든, 어떤 날씨든, 완전 자율 주행. 핸들이나 페달 자체가 필요 없다. 아직 연구 개발 단계다. 언제 상용화될지는 솔직히 아무도 모른다.

지금 시장은 레벨 2에서 레벨 3으로 넘어가는 과도기다. 레벨 4 상용화 테스트도 곳곳에서 진행 중이다. 단, 레벨 경계는 기술만으로 정해지지 않는다. 각국 도로교통법, 보험 제도, 사회적 합의가 다 맞아떨어져야 한다.

기술보다 어려운 것들

자율주행을 막는 건 센서 정밀도만이 아니다. 솔직히 지금 기술 수준은 꽤 왔다. 진짜 걸림돌은 따로 있다.

• 안전과 신뢰성: 99.99% 정확도로는 부족하다. 하루 수백만 대가 달리면, 0.01% 오류도 수천 건의 사고로 이어진다. 폭설, 역광, 공사 구간처럼 센서가 혼란스러운 환경에서도 버텨야 한다. 오류가 나더라도 백업 시스템이 작동해야 한다.
• 윤리적 딜레마: 피할 수 없는 사고에서 차가 어떤 판단을 내려야 하나. 보행자와 탑승자 중 하나를 선택해야 하는 순간이 오면? 기술 문제가 아니라 철학 문제다. 그 기준을 누가 정하느냐가 핵심이다.
• 법과 제도: 전 세계 교통법은 인간 운전자를 기준으로 만들어졌다. 자율주행 사고가 나면 책임은 운전자에게? 제조사에게? 소프트웨어 개발사에게? 이를 명확히 하는 법적 프레임이 대부분 나라에서 아직 미완성이다.
• 인프라와 사이버 보안: V2X 통신망, HD 지도 데이터베이스 — 이걸 깔아야 레벨 4가 제대로 굴러간다. 막대한 인프라 투자가 필요하다. 거기다 자율주행 시스템이 해킹당하면 어떻게 되나. 사이버 보안은 지금도 업계 최대 과제 중 하나다.

The Verge가 전한 바에 따르면, 우버가 자율주행 데이터 수집 전용 랩을 별도로 운영할 만큼 데이터 확보 경쟁은 치열하다. 정부·학계·기업이 협력하면서 기술은 분명 앞으로 나아가고 있다. 자율주행차는 운송 수단 이상이다. 도시 구조를 바꾸고, 물류를 재편하고, 노인과 장애인의 이동권을 확장한다. 그 변화가 언제 오느냐는 기술만큼 제도와 사회 합의에 달려 있다.

출처: The Verge

스스로 달리는 차 뒤에, 모니터 앞에 앉은 사람이 있다. 테슬라 로보택시가 원격 오퍼레이터의 개입 도중 충돌 사고를 냈다는 사실이 알려지면서, 자율주행의 ‘인간 개입’ 문제가 수면 위로 올라왔다. 완전 자율의 꿈을 향해 달리는 기술 뒤에 정작 사람의 손이 필요한 순간이 있다는 아이러니. 이 역설이 자율주행 산업 전체를 관통하는 모순이다.

레벨 3도 4도, 결국 ‘틈새’가 문제다

자율주행은 0단계부터 5단계까지 나뉜다. 지금 상용화에 가장 가까운 건 레벨 3과 레벨 4다. 레벨 3은 특정 조건에서만 자율주행이 되고, 비상 상황에선 운전자가 개입해야 한다. 레벨 4는 정해진 운영 영역(ODD) 안에서 완전 자율이 가능하지만, 그 영역을 벗어나면 시스템이 손을 놓는다. 문제는 그 ‘경계 밖’이다.

갑자기 나타난 공사 구간, 폭설로 지워진 차선, 센서가 못 잡은 역주행 차량. 엣지 케이스(Edge Case)는 언제든 현실로 나타난다. AI가 방대한 데이터를 학습해도, 현실은 늘 그보다 한 발 앞서 있다. 차가 멈추거나 오작동하면 도로 한복판이 위험 지대로 변한다. 그래서 등장한 게 원격 관제(Remote Control)다. 비상 상황에 인간이 원거리에서 차량을 제어하거나 방향을 잡아주는 구조다. 기술의 한계를 보완하면서 상용화 속도를 높이려는 현실적인 선택이기도 하다.

텔레오퍼레이션 vs 원격 지원, 뭐가 다른가

원격 관제는 크게 두 갈래로 나뉜다.

• 텔레오퍼레이션 (Teleoperation): 오퍼레이터가 차량을 직접 운전한다. 스티어링 휠, 페달, 360도 모니터를 통해 실제 운전석처럼 제어하는 방식이다. 복잡한 교차로 통과, 비상 회피, 차량 견인 같은 고난도 상황에서 쓰인다. 초저지연 통신이 필수다. 조금이라도 끊기면 위험하다. 높은 대역폭과 낮은 지연 시간을 동시에 요구하는 고난도 기술이다.
• 원격 지원 (Remote Assistance) / 원격 감독 (Remote Supervision): 직접 운전하진 않는다. 차량 상태를 모니터링하면서 우회 경로 제안, 임시 정지 명령 등 ‘조언’을 주는 방식이다. 공사로 길이 막혔을 때 다른 경로를 안내하거나, 예상치 못한 장애물을 만났을 때 멈추라는 명령을 내린다. 레벨 4, 5 단계에서도 여전히 필요한 ‘안전 관리자’ 역할이다.

결국 원격 관제는 AI의 불확실성에 대한 인간의 답안이다. 기술이 해결하지 못하는 영역을 사람이 채우는 구조. 단순한 제어 장치가 아니라, 자율주행 서비스 신뢰성을 떠받치는 기둥으로 자리 잡았다.

장점 셋, 그런데 함정도 넷

장점부터 짚고 가자.

• 사고 방지 및 비상 대응: AI가 예측하지 못한 상황에서 인간의 즉각적인 개입이 대형 사고를 막는다. 차량이 길을 잃었을 때 빠르게 재운행을 유도하는 것도 원격 관제의 역할이다.
• 운영 효율 개선: 엣지 케이스에 갇혀 도로를 막는 차량이 줄어든다. 전체 자율주행 서비스의 흐름이 매끄러워지고, 승객 불편이 줄어든다.
• 소비자 신뢰 확보: 자율주행에 막연한 불안을 느끼는 사람들이 아직 많다. ‘언제든 사람이 개입한다’는 사실만으로도 심리적 안전감을 준다. 기술 수용 속도를 높이는 데 실질적인 효과가 있다.

그런데 함정도 있다. Wired가 전한 바에 따르면, 테슬라 로보택시가 원격 오퍼레이터의 개입 과정에서 충돌 사고를 일으켰다. 인간이 개입했다고 반드시 더 안전한 건 아니라는 방증이다.

• 지연 시간(Latency) 문제: 통신망을 거치면 반드시 딜레이가 생긴다. 수백 밀리초. 시속 100km로 달리는 차에서 0.3초는 약 8미터다. 텔레오퍼레이션에서 이 지연은 치명적인 결과로 이어질 수 있다. 오퍼레이터가 실시간으로 상황을 인지하기 어렵게 만드는 구조적 약점이다.
• 인간 오류(Human Error): 피로, 집중력 저하, 상황 오판. 숙련된 오퍼레이터도 실수한다. 자율주행 AI가 내린 ‘안전한’ 판단을 인간이 ‘잘못된’ 판단으로 덮어쓰는 최악의 시나리오도 배제할 수 없다.
• 책임 소재의 미로: 사고가 났을 때 누구 잘못인가. 자율주행 AI인가, 원격 오퍼레이터인가, 통신망인가, 제조사의 설계 결함인가. 네 방향이 동시에 얽힌다. 법적으로 아직 정리가 안 된 영역이다.
• 규모 확장의 벽: 오퍼레이터 한 명이 동시에 여러 대를 관제하는 데 한계가 있다. 차량 대수가 늘면 필요한 오퍼레이터 수도 비례해서 늘어난다. 비용 구조가 선형으로 올라가는 문제다. 이건 좀 심각한 약점이다.

안전을 높이려다 새 위험을 만드는 구조. 인간 개입의 양면성이 여기서 드러난다.

5G·AI·VR, 기술은 어디까지 왔나

이 딜레마를 줄이려는 시도는 계속되고 있다.

• 5G 통신망 활용: 초저지연·초고속·초연결이 특징인 5G는 원격 관제의 고질적인 지연 문제를 크게 줄인다. 오퍼레이터가 거의 실시간으로 차량 상황을 파악하는 환경이 가능해지고 있다.
• AI 기반 지원 시스템: AI가 먼저 위험 상황을 감지하고 오퍼레이터에게 경고를 보낸다. 최적 대응 경로도 추천한다. 오퍼레이터는 AI의 조언을 바탕으로 최종 결정만 내리는 구조다. ‘인간-AI 협업’ 체계로 진화하는 중인데, 솔직히 이쪽이 더 현실적인 방향이라고 본다.
• VR/AR 기반 몰입형 관제: 360도 카메라 영상과 차량 센서 데이터를 통합해 오퍼레이터에게 몰입형 시야를 제공한다. 실제 운전석에 앉은 것처럼 상황을 인지하게 만드는 방식이다. 직접 써보진 못했지만, 개념 자체는 꽤 설득력 있다.
• 예측·예방 기술: 차량이 엣지 케이스에 진입하기 전에 AI가 먼저 감지해 오퍼레이터에게 알린다. 갑작스러운 개입이 아니라 준비된 개입으로 바꾸는 게 핵심이다. 반응 시간이 생기면 오류 가능성이 줄어든다.

기술의 방향은 분명하다. 단순히 ‘사람이 조종’하는 게 아니라, 인간과 AI가 서로의 강점을 나눠 갖는 복합 시스템으로 진화하고 있다. 앞으로 원격 관제는 조종 장치가 아니라 판단 보조 도구에 가까워질 것이다.

기술만으론 반쪽 — 제도와 사람이 따라와야 한다

기술이 아무리 발전해도 제도가 없으면 반쪽짜리다.

• 오퍼레이터 전문성 강화: 원격 관제는 고도의 집중력과 판단력을 요구하는 전문 직업이다. 체계적인 교육 프로그램, 자격 기준, 교대 근무와 피로 관리까지 인간의 한계를 전제로 시스템을 설계해야 한다. 그냥 ‘숙련자’로 뽑는다고 해결될 문제가 아니다.
• 투명한 데이터 공개: 사고가 나면 관제 로그, 오퍼레이터 조작 기록을 투명하게 공개하고 분석해야 한다. 원인을 모르면 개선도 없다. 데이터를 감추는 순간 신뢰도 사라진다.
• 법적·윤리적 기준 마련: 책임 소재를 명확히 할 법 체계가 시급하다. 오퍼레이터의 개입 범위, 개인정보 보호, 해킹 위험까지 사회적 합의가 필요한 이슈들이 쌓여 있다. 기술보다 제도가 늦게 오는 건 자율주행만의 문제가 아니지만, 여기선 속도 차이가 사람 목숨과 직결된다.
• 국제 표준화: 나라마다 다른 기준이 적용되면 글로벌 서비스 자체가 흔들린다. 전 세계에서 통용되는 원격 관제 안전 기준을 만드는 작업이 기술 개발과 병행되어야 한다.

자율주행 원격 관제는 완전 자율이라는 목적지로 가는 길목에 있다. 아직은 과도기다. 하지만 그 과도기를 어떻게 설계하느냐에 따라 도로 위 안전의 질이 달라진다. 인간 개입이 사고를 막기도 하고 일으키기도 한다는 사실은 불편하지만 직시해야 할 현실이다. 결국 핵심은 기술, 제도, 사람이 동시에 발전하는 것이다. 셋 중 하나만 앞서 달리면 남은 둘이 발목을 잡는다. 자율주행의 미래는 AI 혼자 만드는 게 아니다.

출처: Wired

테슬라 오토파일럿을 켜놓고 핸들에서 손을 떼는 영상이 유튜브에 넘쳐난다. 근데 솔직히 저 차, 아직 ‘자율주행’이라 부르기 애매하다. 국제자동차기술자협회(SAE) 기준으로는 레벨 2거든요. 손발은 자유롭지만 눈은 도로에 고정해야 하고, 사고 나면 책임은 운전자한테 있다. 그럼 진짜 자율주행은 언제부터일까? 레벨 0부터 5까지, 단계마다 뭐가 달라지는지 짚어보자.

SAE 6단계, 왜 알아야 하냐면

SAE가 자율주행을 0~5단계로 나눈 건 단순한 기술 수준 분류가 아니다. 운전자 책임 범위가 레벨마다 완전히 달라진다. 레벨 2 사고는 운전자 책임, 레벨 4 사고는 제조사 책임이다. 보험, 법적 분쟁, 사고 보상 — 전부 이 숫자 하나로 판가름 난다. 내 차가 어느 레벨인지 모르면 낭패 본다.

레벨 0: 보조 기능 제로, 100% 운전자 몫

• 특징: 아무것도 없다. 가속, 조향, 제동 전부 직접 해야 한다.
• 운전자 개입: 항상, 전부.
• 책임: 당연히 100% 운전자.
• 예시: 포드 모델 T 같은 초창기 차량, 또는 지금도 일부 저가 기본 모델.

요즘은 레벨 0 차량을 찾기가 오히려 어렵다. 신차라면 최소한 긴급제동 보조 정도는 기본으로 달려 나온다.

레벨 1: 하나씩만 도와주는 단계 — ACC, 차선 유지 보조

• 특징: 조향 또는 가감속, 둘 중 하나만 시스템이 맡는다.
• 운전자 개입: 항상 핸들 잡고 전방 주시. 시스템이 하나를 처리하는 동안 나머지는 운전자 몫이다.
• 책임: 여전히 운전자.
• 예시: 어댑티브 크루즈 컨트롤(ACC) — 앞차 간격 보며 속도 자동 조절. 또는 차선 유지 보조 시스템(LKA) — 차선 중앙을 유지하도록 조향 보조. 둘 중 하나만 한다는 게 포인트다.

장거리 고속도로 운전 피로도를 꽤 줄여주는 건 맞다. 다만 ‘보조’인 만큼 믿고 딴짓하면 안 된다.

레벨 2: 손발은 자유, 근데 눈은 묶여 있다 — 테슬라 오토파일럿, 현대 HDA

• 특징: 조향과 가감속을 동시에 시스템이 제어한다. 특정 조건에서.
• 운전자 개입: 손발은 자유롭지만 전방 주시는 필수다. 시스템이 감당 못 하는 상황이 오면 경고음 울리면서 개입을 요구한다.
• 책임: 사고 나면 운전자. ‘부분 자율주행’이라는 이름에 낚이면 곤란하다.
• 예시: 테슬라 오토파일럿(Autopilot), 현대차 고속도로 주행 보조(HDA). 고속도로처럼 환경이 단순한 곳에서 차선 유지와 차간 거리 조절을 동시에 해준다.

현재 가장 많이 보급된 단계가 레벨 2다. 문제는 이름이 ‘자율’처럼 들린다는 것. 실제로 운전자 과신 사고가 적잖이 난다. 이건 좀 조심해야 하는 지점이다.

레벨 3: 드디어 책임이 넘어가는 지점 — 근데 상용화가 제일 까다롭다

• 특징: 고속도로 정체 구간 같은 특정 조건에서 시스템이 운전 전권을 쥔다. 운전자는 핸들에서 손을 떼고 다른 걸 해도 된다.
• 운전자 개입: 평소엔 필요 없다. 시스템이 못 처리할 상황이 오면 충분한 시간 내에 개입 요청을 받고 운전권을 다시 넘겨받아야 한다. 이 ‘충분한 시간’을 어떻게 정의하느냐가 기술적으로 가장 골치 아픈 부분이다.
• 책임: 시스템이 주도권을 가진 동안 난 사고는 제조사 책임. 개입 요청을 무시하다 난 사고는 운전자 책임이다.
• 예시: 메르세데스-벤츠의 ‘드라이브 파일럿’이 독일에서 레벨 3 인증을 받아 상용화됐고, 혼다의 ‘센싱 엘리트’도 일본에서 출시됐다. 복잡한 도심보다는 고속도로 정체 구간처럼 제한적인 환경에서 활용된다.

레벨 3이 의미 있는 이유는 단순하다. 사고 책임이 처음으로 사람에서 기계로 넘어가는 단계거든요. 그만큼 법적·윤리적 검토가 엄격하다. 전 세계 대부분 국가에서 아직 인증이 제한적인 것도 이 때문이다.

레벨 4: 로보택시의 단계 — 지역 제한은 여전히 있다

• 특징: 정해진 운영 설계 영역(ODD) 안에서 시스템이 완전히 혼자 운전한다. 비상 상황도 스스로 처리한다.
• 운전자 개입: 없음.
• 책임: ODD 내 사고는 전부 제조사 몫.
• 예시: 구글 웨이모(Waymo), GM 크루즈(Cruise). 피닉스, 샌프란시스코 일부 지역에서 무인 로보택시로 운행 중이다. 다만 전천후는 아니다. 폭설이나 특수 도로 상황에서는 아직 한계가 있다.

레벨 4는 인상적이지만 ‘어디서나’는 아니다. 운영 지역 바깥에선 그냥 일반 차량이다. 이 ODD의 범위를 얼마나 넓히느냐가 레벨 4 업체들의 다음 과제인 셈이다.

레벨 5: 아직 지구 어디에도 없는 차

• 특징: 모든 도로, 모든 기상 조건에서 완전 무인. 핸들·페달이 아예 없는 차도 이론상 가능하다.
• 운전자 개입: 없음. 사람은 그냥 승객이다.
• 책임: 전부 제조사.
• 예시: 상용화된 레벨 5는 현재 없다. 목적지만 입력하면 어디든 데려다주는 완전 무인차 — 여전히 영화 속 얘기다.

언제쯤 나올까. 업계 전문가들 사이에서도 의견이 갈린다. 2030년대 낙관론도 있고, 현실적으로 불가능하다는 회의론도 있다. 변수가 너무 많다.

텔레오퍼레이터 — 레벨 4 뒤에 있는 사람들

레벨 4 로보택시가 달리는 동안, 어딘가에 사람이 앉아 화면을 보고 있다. 텔레오퍼레이터(Teleoperator)다. 예측 불가능한 공사 구간, 사고 현장, 센서 오작동 같은 돌발 상황에서 원격으로 차량을 제어하거나 지침을 내리는 역할을 한다. TechCrunch 보도를 보면 테슬라 로보택시 관련 사고에서도 텔레오퍼레이터 개입 사례가 나온다. 레벨 4라도 100% 완벽하지 않다는 얘기다.

기술이 아무리 정교해져도 예외 상황은 생긴다. 텔레오퍼레이터는 그 예외를 인간이 커버하는 구조다. 레벨 5로 가기 전까지 이 구조는 꽤 오래 유지될 것 같다. 기술의 빈틈을 사람의 경험과 판단으로 메우는, 과도기의 현실적인 방식이다.

지금 현실 — 레벨 2가 주류, 나머지는 진행 중

2026년 현재 도로 위 대부분은 레벨 2다. 레벨 3는 독일, 일본 등 일부 국가에서만 제한적으로 허용됐다. 레벨 4 로보택시는 미국 몇 개 도시에서 서비스 중이다. 레벨 5는 없다.

• 안전성 검증: 수십억 킬로미터의 주행 데이터를 쌓아야 한다. 오래 걸린다.
• 책임 규정: 사고 시 제조사와 운전자 중 누구 책임인지 — 국가마다 법이 다르고, 아직 기준이 없는 나라도 많다.
• 운전자 모니터링: 레벨 2, 3에서 운전자가 주의를 기울이는지 정확히 감지하는 기술도 중요한 과제다.
• 인프라: 스마트 도로, V2X 통신 인프라가 뒷받침돼야 한다. 소프트웨어만의 문제가 아니다.

기술이 앞서도 법과 인프라가 따라오지 않으면 도로 위에 못 올라온다. 레벨 5의 현실화가 늦어지는 건 기술 문제만이 아니다. 결국 자율주행은 자동차 회사 혼자 만들어낼 수 없다 — 정부, 도시, 보험사, 시민 전체가 함께 만드는 시스템이다.

출처: TechCrunch