[카테고리:] 가이드

애플이 접은 자율주행차 프로젝트, 한 번쯤 들어봤을 거다. 몇 년을 쏟아붓고 결국 차는 못 만들었다. 그런데 이 프로젝트가 남긴 게 실패한 자동차 한 대만은 아니라는 분석이 나온다. 지금 아이폰과 맥에 들어가는 AI 칩, 그 설계 기반이 여기서 나왔다는 얘기다. 블룸버그 마크 거먼 기자가 전한 바에 따르면, 애플은 자율주행차용 온디바이스 AI 처리 성능을 확보하는 과정에서 쌓은 노하우를 뉴럴엔진 설계에 그대로 이식했다. 차는 못 만들었지만, 그 과정에서 얻은 칩 기술이 오늘날 애플 실리콘을 AI 작업에 강하게 만든 셈이다.

이 이야기를 계기로 정리해볼 만한 게 하나 있다. 뉴럴엔진이 정확히 뭘 하는 부품인지, M시리즈 칩마다 AI 성능이 얼마나 차이 나는지, 로컬에서 AI를 돌리려면 맥북을 어떤 기준으로 골라야 하는지. 이 세 가지다.

애플 칩이 AI에 유독 강한 이유

애플 실리콘은 CPU, GPU, 뉴럴엔진이 메모리를 공유하는 통합 메모리 구조다. 인텔 CPU에 별도 그래픽카드를 얹는 조합과는 다르다. 데이터를 이곳저곳으로 복사할 필요 없이 한 곳에 모아두고 세 가지 연산 장치가 동시에 접근한다. AI 모델을 돌릴 때는 이 구조가 속도와 전력 효율, 두 마리 토끼를 다 잡는다. 여기에 더해 애플은 클라우드 서버가 아니라 기기 안에서 연산을 끝내는 방향을 오래전부터 밀어왔다. 사진 속 얼굴 인식, 문장 자동완성, 음성 인식 같은 기능을 기기 안에서 처리하려면 전용 AI 가속기가 필수다. 그게 바로 뉴럴엔진이다.

뉴럴엔진이 실제로 하는 일

뉴럴엔진은 CPU나 GPU와는 별도로 마련된 AI 연산 전용 칩 블록이다. 초당 처리 가능한 연산 횟수를 TOPS(Tera Operations Per Second)라는 단위로 표시하는데, 숫자가 클수록 같은 시간에 더 많은 AI 연산을 소화한다는 뜻이다. 아이폰의 얼굴 인식, 사진 앱의 인물·사물 구분, 시리의 음성 처리, 맥의 실시간 자막 번역. 이런 기능 대부분이 이 부품에서 돌아간다. 클라우드로 데이터를 보내지 않고 기기 안에서 끝내다 보니 반응 속도가 빠르고, 개인정보도 밖으로 새지 않는다. 이 부분은 솔직히 애플이 잘 잡은 방향이라고 본다.

M1부터 M4까지, 칩별 AI 성능 비교

세대가 바뀔 때마다 뉴럴엔진 성능도 큰 폭으로 뛰었다.

• M1: 뉴럴엔진 11 TOPS, 첫 세대치고 준수한 수준
• M2: 15.8 TOPS, 로컬 이미지 생성 모델도 무난하게 소화
• M3: 18 TOPS, GPU 레이 트레이싱까지 함께 강화
• M4: 38 TOPS로 전작 대비 2배 이상 도약, 애플이 처음으로 AI 성능을 정면에 내세운 세대

숫자만 보면 M4가 압도적이다. 다만 실제 체감 차이는 어떤 작업을 하느냐에 따라 갈린다. 이건 좀 케이스 바이 케이스다.

용도별로 맥북 고르는 법

• 문서 작업, 웹서핑, 가벼운 사진 보정: M1이나 M2 에어로 충분하다. 굳이 최신 칩에 돈을 더 쓸 이유가 없다.
• 로컬 LLM 구동(라마, 미스트랄 등 오픈소스 모델): M3 프로 이상, RAM 32GB를 기준으로 삼는 게 안전하다.
• 이미지 생성(Stable Diffusion), AI 영상 편집: M4 프로나 맥스, RAM 32~64GB급을 권장한다.
• 대형 모델 연구·개발용: M4 맥스에 RAM 64GB 이상. 여기까지 필요한 사람은 사실 소수다.

RAM은 얼마나 필요할까

애플 실리콘은 CPU, GPU, 뉴럴엔진이 메모리를 나눠 쓰는 구조라서 RAM 용량이 곧 AI 성능의 상한선을 결정한다. 로컬에서 언어 모델을 돌린다면 대략 이런 기준으로 잡으면 된다.

• 70억 파라미터급 모델: RAM 8~16GB로 실행 가능
• 130억 파라미터급 모델: RAM 16~24GB 권장
• 700억 파라미터급 모델: RAM 64GB 이상 필요

저장 공간은 넉넉해도 RAM이 부족하면 모델 자체가 안 돌아간다. 맥북 살 때 SSD 용량보다 RAM 용량부터 챙겨야 하는 이유가 여기 있다.

윈도우 노트북과 비교하면 어떨까

퀄컴 스냅드래곤 X 엘리트를 탑재한 이른바 코파일럿+PC는 NPU 성능 40 TOPS를 마이크로소프트 인증 기준으로 내걸었다. 숫자만 보면 M4의 38 TOPS와 비슷하다. 하지만 실제 AI 앱 생태계와 최적화 수준은 아직 애플 쪽이 한발 앞서 있다는 평가가 많다. 반대로 게임이나 범용 소프트웨어 호환성에서는 윈도우 진영이 여전히 유리하다. AI 작업 비중이 크다면 맥, 범용성과 호환성을 우선한다면 윈도우. 이 정도로 나눠서 생각하면 답이 나온다.

자주 묻는 질문 몇 가지

Q. 인텔 맥으로는 로컬 AI를 못 쓰나?
전용 뉴럴엔진이 없어서 클라우드 기반 AI 기능 위주로만 쓸 수 있다. 로컬 LLM 구동은 사실상 권장하지 않는다.

Q. 아이폰도 맥과 같은 구조인가?
A시리즈 칩에도 동일한 개념의 뉴럴엔진이 들어간다. 세대별 TOPS 수치는 다르지만 설계 철학은 같다.

Q. 굳이 맥스 칩까지 필요할까?
대형 모델을 직접 돌리거나 영상·3D 작업을 전문적으로 하는 게 아니라면 프로 등급으로 충분하다. 맥스는 오버스펙인 경우가 많다. 괜히 돈만 더 나가는 셈이다.

출처: The Verge

이븐 리얼리티스(Even Realities)가 카메라를 아예 뺀 스마트글래스를 내놨다. 메타나 삼성이 카메라 탑재 모델에 사활을 거는 것과는 완전히 반대 방향이라 눈길이 갔다. 회의가 많고, 발표를 자주 하고, 해외 출장이 잦은 사람을 정면으로 겨냥한 제품. 이참에 카메라 유무로 스마트글래스가 어떻게 갈리는지, 뭘 기준으로 골라야 할지 짚어본다.

카메라 없는 스마트글래스, 정체가 뭔가

스마트글래스라고 하면 메타 레이밴처럼 사진·영상을 찍는 카메라부터 떠올리기 마련이다. 그런데 디스플레이와 마이크, 스피커만으로 돌아가는 모델도 엄연히 한 축을 차지한다. 렌즈 안쪽 작은 프로젝션 디스플레이에 텍스트나 알림을 띄우고, 마이크로 음성을 받아 실시간 자막이나 번역을 보여주는 식이다. 촬영 기능 자체가 빠졌으니 하드웨어 구성은 단순해지고, 배터리 소모도 상대적으로 적다.

카메라 달린 모델과 무엇이 다른가

가장 큰 차이는 용도다.

• 카메라 탑재형: 1인칭 시점 촬영, SNS 업로드, AI 비전 질의응답(눈앞에 보이는 걸 물어보는 기능) 중심
• 카메라 미탑재형: 회의록 자동 작성, 실시간 통역·자막, 일정·메시지 확인 등 업무 생산성 중심

카메라가 없으면 몰카 논란이나 초상권 문제에서 한발 비켜설 수 있다는 점도 실사용에서 체감되는 차이다. 회의실이나 사무실처럼 촬영이 민감한 공간에서 써도 상대방이 경계하지 않는다는 게 이 제품군의 핵심 셀링포인트다.

회의·발표·출장, 왜 이런 안경이 먹히나

렌즈에 텍스트가 뜨는 구조라 발표 스크립트나 큐카드를 눈앞에 띄워두고 청중과 눈을 마주치며 말할 수 있다. 화상회의든 대면회의든 상대 말이 실시간 자막으로 뜨니, 회의록을 따로 정리할 일이 줄어든다. 해외 출장이 잦은 직군이라면 상대방 언어를 텍스트로 바로 확인하는 기능이, 통역 앱 켜고 화면 들여다보는 것보다 훨씬 자연스럽다. 스마트폰 꺼내 화면 확인하는 동작 자체가 줄어드는 게, 막상 써보면 생각보다 큰 차이를 만든다고 한다.

실시간 번역, 진짜 쓸 만한가

번역 정확도는 언어, 배경 소음, 네트워크 상태에 따라 편차가 크다. 조용한 회의실에서 표준어 억양으로 말하는 상황이면 정확도가 꽤 높다. 하지만 여러 명이 동시에 말하거나 전문 용어가 섞이면 오역이 늘어난다. 통역사를 완전히 대체한다기보다는 대략적인 맥락 파악용 보조 도구로 접근하는 편이 현실적이다. 개인적으론 이 정도만 돼도 충분히 반갑다 싶다. 손이 자유로운 상태에서 실시간 자막을 볼 수 있다는 것 자체가, 기존 번역 앱 대비 편의성은 크다.

프라이버시 논란에서 한발 비켜선 이유

카메라 달린 스마트글래스는 착용자도 모르는 사이 주변 사람을 찍을 가능성 때문에 카페, 헬스장, 공공장소에서 착용을 꺼리는 분위기가 있다. 실제로 몇몇 매장이나 시설은 카메라형 스마트글래스 착용 자체를 막기도 한다. 카메라가 빠진 모델은 이런 사회적 마찰이 적다. 사무실이나 협업 공간처럼 사람이 많이 모이는 곳에서 부담 없이 쓸 수 있다는 장점, 이건 꽤 뚜렷하다.

사기 전에 체크할 3가지

• 디스플레이 밝기와 시야각: 실내외 모두 텍스트가 잘 보이는지, 야외 직사광선에서도 가독성이 유지되는지
• 배터리 지속 시간: 하루 종일 회의를 도는 직군이라면 최소 8시간 이상 버티는 모델이 유리하다
• 연동 앱과 언어 지원 범위: 번역 지원 언어 수, 회의록 자동 저장 여부, 캘린더·메신저 연동 여부

가격대는 카메라 탑재형보다 저렴한 경우가 많다. 대신 SNS 콘텐츠 제작이나 1인칭 촬영이 필요한 사람에게는 애초에 선택지가 아니다. 결국 안경을 왜 쓰려는지부터 명확히 하는 게 먼저다. 여기서 갈린다.

궁금한 것들, 짧게 답하면

Q. 카메라 없는 스마트글래스로 사진은 아예 못 찍나?
A. 대부분 촬영 기능 자체가 하드웨어에서 빠져 있어 불가능하다. 순수하게 디스플레이·음성 기반 기능만 지원한다.

Q. 일반 안경처럼 도수 렌즈 교체가 가능한가?
A. 제조사마다 다르다. 처방 렌즈를 끼울 수 있는 프레임을 내놓는 브랜드가 늘고 있으니, 구매 전 도수 렌즈 호환 여부는 꼭 확인해야 한다.

Q. 스마트폰 없이 단독으로 쓸 수 있나?
A. 대부분 블루투스로 스마트폰과 연결해 번역·자막·알림을 처리하는 구조라, 완전한 단독 사용은 아직 어렵다.

출처: TechCrunch

전 직장 자료를 슬쩍 들고 이직했다가 소송까지 가는 경우, 생각보다 자주 나온다. 최근 애플이 오픈AI를 상대로 낸 소송도 딱 이 구도인데요. 채용한 직원이 기밀 프레젠테이션이랑 시제품 정보, 공급망 자료까지 옮겨왔다는 게 애플 측 주장이다. 와이어드 보도를 보면 이 사건, 단순 이직 분쟁이 아니라 영업비밀 침해 소송으로 번진 상태다. 그럼 영업비밀 침해라는 게 정확히 뭘 말하는 걸까. 어디서부터를 선 넘었다고 보는 걸까.

영업비밀, 법적으로는 뭘 뜻하나

법에서는 세 가지 조건을 동시에 채워야 영업비밀로 인정한다.

• 공공연히 알려져 있지 않은 정보(비공지성)
• 경제적 가치를 지닌 정보(경제적 유용성)
• 비밀로 관리되고 있다는 사실이 확인되는 정보(비밀관리성)

회사가 “이건 비밀입니다”라고 우긴다고 인정되는 게 아니다. 접근 권한을 제한했는지, 보안 서약서를 받았는지, 문서 등급을 매겨 관리했는지. 이런 실질적인 조치가 있어야 비로소 보호 대상이 된다. 시제품 설계도, 아직 공개 안 한 제품 로드맵, 핵심 공급업체 리스트, 내부 알고리즘, 고객 데이터베이스. 대표적인 예다.

침해로 인정되려면 뭐가 겹쳐야 하나

전 직장에서 배운 걸 머릿속에 담고 있다고 처벌받진 않는다. 그래도 침해로 인정되려면 보통 아래 네 가지가 함께 맞아떨어져야 한다.

• 부정한 방법으로 취득했는가 (몰래 복사, 이메일 전송, USB 반출 등)
• 취득 사실을 알면서 사용하거나 공개했는가
• 그 정보가 실제로 비밀로 관리되고 있었는가
• 사용으로 인해 손해나 부당이득이 발생했는가

기억에 의존한 지식이나 일반적인 업무 노하우, 이건 대체로 보호 대상이 아니다. 문제는 문서나 파일, 프레젠테이션처럼 형태가 남는 자료를 통째로 옮기는 경우다. 이메일 로그 하나, 클라우드 접속 기록 하나만으로도 증거가 되거든요. 소송에서 불리해지기 딱 좋은 지점이다.

인재 영입 과정에서 자주 터지는 함정

빅테크끼리 인재 쟁탈전이 치열해지면서, 스카우트 과정에서 비슷한 사고가 반복된다.

• 퇴사 직전 회사 문서를 개인 클라우드나 메일로 백업
• 새 회사 면접에서 이전 프로젝트 자료를 보여달라는 요청에 응함
• 이직 후 새 팀에 전 직장 방식이나 프로세스를 그대로 적용
• 공급업체 연락처, 단가 정보를 넘겨받아 협상에 활용

채용 담당자든 신규 입사자든, 이 지점에서 선을 넘기 쉽다. 회사가 시키지 않았어도 입사자가 알아서 자료를 들고 오면, 그 회사까지 책임을 지는 경우가 많다.

기업들이 실제로 취하는 방어책

기업이 실무적으로 취하는 조치는 크게 갈린다.

• 입사 시 비밀유지계약(NDA)과 경업금지 조항 체결
• 퇴사 시 자료 반납 확인 및 접근 권한 즉시 회수
• 문서 등급별 접근 제어, 이른바 Need-to-know 원칙 적용
• 클라우드·USB 반출 로그 상시 모니터링
• 신규 입사자 온보딩 시 전 직장 자료 반입 금지 서약

규모 큰 기업일수록 퇴사자 컴퓨터랑 이메일 계정을 포렌식 방식으로 훑는 절차를 갖춘 곳도 많다. 소송까지 가는 사례, 대부분 이런 점검 중에 이상 징후가 걸리면서 시작된다.

이직 준비 중이라면 이것만은 조심하자

커리어를 위해 옮기는 건 자연스럽다. 자료 반출은 완전히 별개 얘기다.

• 회사 소유 문서, 코드, 디자인 파일은 절대 개인 저장소에 백업하지 않는다
• 포트폴리오용으로 프로젝트 자료를 쓰고 싶다면 반드시 회사 승인을 받는다
• 새 직장에서 전 직장 자료를 참고하자는 요청을 받으면 명확히 거절한다
• 퇴사 전 회사 자산 반납 체크리스트를 꼼꼼히 확인한다

실무 경험과 노하우는 개인의 자산이지만, 문서화된 자료와 코드는 회사 자산이다. 이 선을 분명히 긋는 게 나중 분쟁을 막는 가장 확실한 방법 아닐까 싶다.

자주 나오는 질문들

Q. 머릿속에 있는 지식도 영업비밀 침해에 해당하나?
일반적인 업무 지식이나 스킬은 해당하지 않는다. 다만 구체적인 알고리즘 로직이나 수치 데이터를 통째로 암기해서 그대로 재현하는 수준이라면 얘기가 달라진다. 이건 좀 다툼의 여지가 생긴다.

Q. 회사가 몰랐어도 회사 책임이 될까?
입사자가 자발적으로 자료를 가져왔더라도, 회사가 그 자료를 사용하거나 알고도 방치했다면 함께 책임을 질 가능성이 크다.

Q. 손해배상 규모는 어느 정도일까?
침해로 얻은 부당이득이나 피해 기업의 손실액을 기준으로 산정되며, 사안에 따라 수백억 원대 소송으로 번지기도 한다.

출처: Wired

애플이 오픈AI를 상대로 소송을 걸었다. 전직 직원들이 하드웨어 관련 기밀을 빼내 경쟁사 제품 개발에 썼다는 주장이다. 빅테크 사이 이직이 잦아지면서 이런 분쟁, 이제 뉴스에서 흔하게 본다. 이직을 준비 중이거나 회사 보안 정책을 다시 손봐야 하는 처지라면 영업비밀 침해가 정확히 뭘 뜻하는지, 어디까지 괜찮고 어디서부터 소송감인지 미리 짚어두는 게 낫다.

영업비밀, 법적으로는 정확히 뭘까

부정경쟁방지 및 영업비밀보호에 관한 법률에서 영업비밀로 인정받으려면 다음 3가지를 동시에 충족해야 한다.

• 비공지성: 공개적으로 알려지지 않은 정보여야 한다
• 경제적 유용성: 그 정보를 알면 경쟁상 우위를 얻을 수 있어야 한다
• 비밀관리성: 회사가 접근 권한을 제한하는 등 비밀로 관리하고 있어야 한다

그냥 ‘사내에서만 쓰는 자료’라고 다 영업비밀이 되는 건 아니다. 접근 통제나 보안 등급 표시가 없으면, 법적으로 보호받기 어렵다는 얘기다.

이직 앞두고 자주 터지는 사고 유형 3가지

실제 소송 사례들을 보면 패턴이 비슷하다.

• 자료 반출: 퇴사 전 개인 메일이나 클라우드로 파일을 슬쩍 옮기는 경우. 접근 로그가 고스란히 남아서 제일 흔한 증거가 된다
• 설계 재현: 소스코드나 회로도를 그대로 베끼지 않아도 구체적인 수치와 구조를 그대로 재현하면 침해로 판단될 여지가 있다
• 고객·협력사 리스트 활용: 영업직군에서 자주 걸리는 유형이다. 거래 조건이나 단가 정보까지 들어있으면 사안이 커진다

NDA랑 경업금지조항, 헷갈리기 쉬운데

둘을 같은 걸로 아는 사람이 많은데, 성격 자체가 다르다.

• NDA(비밀유지계약): 퇴사 이후에도 기간 제한 없이 특정 정보를 발설하지 않을 의무를 지운다
• 경업금지조항: 일정 기간 동종업계 취업이나 창업을 막는다. 효력 인정 범위는 지역마다 크게 갈린다

캘리포니아주는 경업금지조항 자체를 원천 무효로 본다. 실리콘밸리에서 인재 이동이 유독 활발한 이유 중 하나가 이거다. 한국은 직무 특성, 보상 여부, 기간의 합리성을 따져서 제한적으로만 유효성을 인정하는 편이다.

소송으로 번지면 실제로 벌어지는 일

기업이 침해를 의심하면 보통 디지털 포렌식부터 들어간다. 파일 접근 시각, USB 연결 기록, 클라우드 업로드 이력을 확보해서 증거로 낸다. 침해가 인정되면 민사상 손해배상과 부정취득 이익 반환 청구가 동시에 걸리고, 국내법상 형사처벌도 가능하다. 부정경쟁방지법 위반은 최대 10년 이하 징역, 혹은 이에 상응하는 벌금형까지 규정돼 있다. 미국은 연방법인 DTSA(Defend Trade Secrets Act)를 적용하는데, 고의성이 인정되면 실손해액의 최대 2배까지 징벌적 배상을 물릴 수 있다.

이직 전에 한 번은 체크해야 할 것들

분쟁을 피하려면 퇴사 전에 정리해둘 게 있다.

• 회사 자료와 개인 자료를 물리적으로 분리해서 보관한다
• 협업 툴, 클라우드 저장소 접근 로그를 스스로 한 번 확인해본다
• 계약서에 있는 경업금지조항의 유효기간과 적용 지역을 다시 읽어본다
• 새 직장에서 이전 프로젝트의 구체적인 수치나 알고리즘은 입 밖에 내지 않는다
• 근로계약서, NDA 사본은 따로 챙겨둔다

회사는 이걸 어떻게 막을까

기업 쪽에서는 DLP(데이터 유출 방지) 솔루션으로 대용량 파일 이동을 실시간으로 감지하고, 직무별로 접근 권한을 잘게 나누는 방식을 쓴다. 퇴사자 계정은 마지막 근무일에 바로 회수하고, 핵심 인력에게는 입사 시점마다 NDA를 다시 쓰게 하는 곳도 많다. 반도체나 배터리처럼 기술 격차가 곧 매출로 이어지는 업종일수록 이 절차, 훨씬 촘촘하다.

궁금한 것들, 짧게 답하면

Q. 머릿속에 남은 지식도 침해로 볼 수 있나?
일반적인 업무 경험이나 스킬은 해당하지 않는다. 다만 구체적인 알고리즘 수치나 미공개 설계 구조를 그대로 재현하면 얘기가 달라진다.

Q. 파일 하나만 보내도 걸리나?
분량과 상관없이 고의성이 인정되면 소송 대상이 된다. 핵심은 몇 개를 보냈느냐가 아니라 접근 권한 밖의 정보를 빼냈느냐다.

Q. 국내 기업도 이런 소송이 흔한가?
반도체, 배터리, 디스플레이 업계에서 매년 여러 건씩 나온다. 해외 경쟁사로 이직할 때는 산업기술보호법까지 겹쳐서 적용 기준이 더 엄격해진다.

출처: The Verge

로봇 팔 하나가 컵을 집어 올리는 법을 제대로 익히려면 수천 시간의 시행착오가 필요하다. 사람은 몇 번만 보여줘도 곧잘 따라 하는데 말이다. 이 격차를 메우려는 시도가 최근 로봇공학 업계에서 피지컬 AI(Physical AI)라는 이름으로 빠르게 번지고 있다. 검색해보면 정의가 제각각이라 헷갈리는 사람이 많아, 개념부터 실제 적용 사례까지 순서대로 짚어본다.

피지컬 AI, 정확히 뭘 말하는 걸까

피지컬 AI는 카메라, 센서, 로봇 팔처럼 물리적인 몸체를 가진 기계가 주변을 인식하고 스스로 판단해 움직이도록 만드는 AI 기술을 통칭한다. 챗GPT 같은 언어 모델이 텍스트를 이해하고 만들어내는 데 특화됐다면, 피지컬 AI는 공간, 중력, 물체의 무게와 마찰력 같은 물리 법칙을 학습해야 한다는 점이 다르다. 둘 다 ‘똑똑한 AI’라 불리지만, 다루는 데이터의 결이 완전히 다른 셈이다.

로봇 학습이 유독 어려운 진짜 이유

언어 모델은 인터넷에 널린 텍스트와 이미지를 긁어모으면 학습이 된다. 로봇이 물건을 집고 옮기는 동작 데이터는? 인터넷 어디에도 없다. 로봇 팔을 실제로 움직여가며 데이터를 쌓으려면 제약이 한둘이 아니다.

• 로봇 하드웨어 구입과 유지 비용부터 만만치 않다
• 사람이 옆에서 직접 조작하거나 시연해야 하는 경우가 많아 시간이 오래 걸린다
• 넘어지거나 부딪히는 실패 사례를 모으다 보면 장비가 망가지기 십상이다
• 같은 동작도 조명, 바닥 재질, 물체 형태를 바꿔가며 반복해야 겨우 일반화된다

결국 로봇용 학습 데이터는 텍스트 데이터보다 수집 단가가 몇 배는 비싸다. 로봇공학이 오랫동안 ‘데이터 병목’을 못 풀었던 배경이다.

게임 데이터와 시뮬레이션이 대안으로 뜬 배경

여기서 나온 아이디어가 비디오 게임 플레이 영상이나 시뮬레이션 환경을 끌어다 쓰는 방식이다. 1인칭 슈팅 게임이나 오픈월드 게임 속 캐릭터가 물체를 집고, 문을 열고, 장애물을 피하는 장면에는 물리 엔진 기반 동작 데이터가 이미 방대하게 쌓여 있다. 이걸 그대로 로봇에 이식하기는 무리지만, 물체와 상호작용하는 패턴이나 공간 이동 규칙을 먼저 익히는 사전 학습 재료로는 쓸 만하다는 게 최근 스타트업들의 계산이다. 실제 로봇 데이터가 부족해도, 게임에서 뽑아낸 수백만 시간 분량의 상호작용 영상으로 기초 체력을 먼저 다지고, 모자란 부분만 소량의 실제 데이터로 미세 조정하는 전략이다. 좀 억지스럽게 들릴 수도 있는데, 실제로 성과를 내는 팀들이 나오고 있다.

파운데이션 모델과 로봇공학이 만나는 지점

파운데이션 모델은 방대한 데이터를 미리 학습해 범용 능력을 갖춘 뒤, 특정 작업에 맞춰 추가 학습(파인튜닝)하는 AI 모델을 뜻한다. 구글 딥마인드의 RT-2, 엔비디아의 GR00T가 대표적이다. 이런 모델은 사람이 일일이 ‘이럴 땐 이렇게 움직여라’고 코딩해주지 않아도, 언어 명령을 물리적 동작으로 바로 바꿔낸다. “빨간 컵을 왼쪽 선반에 올려줘” 같은 문장을 알아듣고 그에 맞는 팔 동작을 계산해내는 식이다. 엔비디아가 Isaac Sim 같은 시뮬레이션 플랫폼에 공들이는 이유도 여기 있다. 실제 로봇을 돌리지 않고도 가상 환경에서 안전하게 대량의 학습 데이터를 뽑아낼 수 있어서다.

실제로 어디에 쓰이고 있나

피지컬 AI는 이미 몇몇 영역에서 상용화 단계에 들어섰다.

• 물류센터 피킹 로봇 — 크기 제각각인 박스를 인식하고 분류
• 제조 공장 조립 라인 — 부품 정렬, 용접 위치 자동 보정
• 가정용 청소 로봇과 서빙 로봇 — 장애물 회피, 경로 재계산
• 자율주행차의 상황 판단 — 보행자, 신호, 돌발 장애물에 대한 물리적 반응

자율주행과 산업용 로봇이 결국 같은 기술 뿌리를 공유한다는 점도 눈여겨볼 만하다. 도로 위 상황 판단이든 창고 안 물체 회피든, 본질은 ‘물리 세계를 이해하고 안전하게 반응하는’ 같은 문제이기 때문이다.

남은 변수들 — sim-to-real 간극

게임이나 시뮬레이션에서 배운 걸 실제 로봇에 그대로 옮기면 어긋나는 경우가 적지 않다. 가상 공간의 마찰력과 실제 바닥의 마찰력은 다르고, 카메라 노이즈나 조명 변화 같은 변수도 시뮬레이션에서는 완벽히 재현하기 어렵다. 이걸 ‘시뮬레이션-실제 간극(sim-to-real gap)’이라 부르는데, 이 간극을 얼마나 좁히느냐가 피지컬 AI 스타트업들의 경쟁력을 가르는 핵심 변수로 꼽힌다. 안전 인증, 제조 단가, 전력 소모 문제도 실제 배포 단계에서 계속 발목을 잡는다. 로봇공학 쪽 채용 공고나 스타트업 투자 소식을 눈여겨보는 사람이라면, ‘어떤 데이터로 학습시켰는가’와 ‘실제 환경 전이 성능을 어떻게 검증했는가’, 이 두 질문에 대한 답부터 확인해보길. 옥석을 가리는 데 도움이 될 거다.

출처: TechCrunch