구글, 애플, 오픈AI, 스페이스X. 업종도 목적도 제각각인 이 회사들이 요즘 같은 짓을 하고 있다. 직접 AI 칩을 만드는 거다. 수년 전만 해도 AI 칩 시장은 사실상 엔비디아 독주였다. GPU 없이는 AI 학습 자체가 안 된다는 말이 업계 상식처럼 통했고, 엔비디아 주가가 그걸 증명했다. 근데 판이 흔들리기 시작했다. 왜 다들 갑자기 칩을 만들겠다고 나선 걸까.
AI 칩이란? GPU와 뭐가 다른가
AI 칩은 행렬 곱셈 같은 대규모 병렬 연산에 특화된 반도체다. 엔비디아 GPU는 원래 게임 그래픽 렌더링용으로 나왔는데, 병렬 연산 구조가 AI 학습이랑 딱 맞아서 어쩌다 AI 칩의 대명사가 됐다. 우연이 만들어낸 독점이라고 봐도 무방하다.
문제는 GPU가 범용 설계라는 점이다. 뭐든 할 수 있게 만들다 보니, 특정 AI 작업엔 굳이 필요 없는 자원까지 끌어다 쓴다. 이게 비효율이다. 반면 주문형 AI 칩(custom silicon)은 딱 그 회사가 필요한 연산만 돌리도록 설계된다. 속도는 올라가고 전력 소비는 내려간다.
- GPU: 범용, 유연성 높음, 비용 높음
- Custom AI 칩: 특정 워크로드 특화, 효율 높음, 설계 난이도 높음
- TPU(구글 텐서처리장치): 구글이 자체 개발한 AI 가속기의 대표 사례
엔비디아 의존이 문제가 되는 이유
엔비디아 H100, B200 같은 플래그십 칩은 한 장에 수만 달러다. 대형 AI 모델 하나 학습시키려면 수천 개의 GPU가 필요하고, 비용은 순식간에 천문학적으로 불어난다. 오픈AI가 GPT-4를 학습시키는 데 1억 달러가 넘었다는 추산이 있는데, 그 상당 부분이 GPU 비용이다.
비용만이 문제가 아니다. 공급망 리스크도 현실이었다. 수요가 폭발하면서 납기 지연이 반복됐고, AI 인프라 확장 일정이 칩 공급 일정에 발목 잡히는 상황이 생겼다. 미중 반도체 수출 규제까지 겹치면서 지정학 변수도 더해졌다.
결정적인 건 따로 있다. 엔비디아는 이미 모든 고객사의 경쟁자가 됐다. AI 서비스, 클라우드 플랫폼, 소프트웨어 영역으로 손을 뻗는 중이다. 핵심 인프라를 경쟁사에 맡기는 게 장기적으로 괜찮을 리 없다.
누가 어떤 칩을 만들고 있나
자체 칩 개발 대열은 이미 꽤 길다.
- 구글 TPU: 가장 오래된 사례. 7세대 트리톤까지 진화했고, 구글 클라우드를 통해 외부에도 제공된다.
- 애플 Neural Engine: M 시리즈 칩에 내장된 온디바이스 AI 가속 유닛. 아이폰·맥북의 AI 기능을 GPU 없이 처리한다.
- 아마존 Trainium·Inferentia: AWS에서 모델 학습(Trainium)과 추론(Inferentia)에 각각 최적화된 칩을 운영 중이다.
- 메타 MTIA: 추천 알고리즘 같은 대규모 추론 작업에 특화한 자체 칩이다.
- 오픈AI Jalapeño: 브로드컴과 협력해 개발 중인 추론 전용 칩. 학습이 아닌 서비스 단계 비용을 낮추는 게 목표다.
- 스페이스X: 스타링크 위성 네트워크 운용에 필요한 온보드 AI 처리를 위해 자체 칩을 개발 중이다.
자체 칩 개발, 아무나 할 수 있는 건 아니다
쉬운 길이 아니다. 설계만 해도 수백 명의 반도체 엔지니어가 수년을 매달려야 한다. 설계를 끝냈다고 끝이 아니다. TSMC나 삼성 같은 파운드리에서 양산이 돼야 하고, 첫 테이프아웃(시제품 생산)에서 실패하면 비용과 시간을 고스란히 날린다.
소프트웨어 생태계도 만만찮은 벽이다. 엔비디아 CUDA는 10년 넘게 쌓인 개발자 생태계, 라이브러리, 프레임워크가 촘촘히 얽혀 있다. 새 칩을 내놔도 기존 AI 코드가 그 위에서 돌아가려면 컴파일러와 드라이버를 처음부터 새로 쌓아야 한다. 이건 꽤 지독한 작업이다.
결국 자체 칩 개발은 연 매출 수십억 달러 이상인 빅테크 전용 게임이다. 스타트업이나 중견 기업이 따라 하기 어려운 이유가 여기 있다.
엔비디아는 위기인가
단기적으로는 아니다. 빅테크 자체 칩이 완성되더라도, 수천 개의 기업과 연구소는 엔비디아 GPU를 쓴다. 전 세계 AI 스타트업 생태계가 CUDA 기반으로 돌아가고 있고, 이걸 하루아침에 대체하기는 어렵다.
장기 구조는 바뀔 여지가 있다. 구글, 메타, 아마존, 마이크로소프트는 엔비디아 GPU 최대 소비자군이다. 이들이 자체 칩 비중을 50%만 높여도 엔비디아 매출 구조에 의미 있는 변화가 생긴다. 이건 좀 두고 봐야 하는 얘기다.
엔비디아도 손 놓고 있는 게 아니다. CUDA 생태계 강화, 소프트웨어 플랫폼 확대, 로보틱스·자율주행 등 새 시장으로 매출 다각화를 서두르고 있다.
그래서 뭐가 달라지나
AI 칩 다양화는 결국 AI 서비스 비용 하락으로 이어질 공산이 크다. 추론(inference) 비용이 내려가면 ChatGPT류 서비스 요금이 낮아지거나, 같은 요금으로 더 강력한 모델을 쓰게 된다. 소비자 입장에서는 나쁠 게 없는 흐름이다.
개발자 입장에서는 생태계가 복잡해진다. CUDA 하나만 알면 됐던 시대에서, TPU·Trainium·MTIA 플랫폼별 최적화를 고민해야 하는 시대로 넘어가는 거다. PyTorch, JAX 같은 프레임워크들이 다양한 하드웨어 백엔드를 지원하도록 진화하고 있는 게 그 신호다.
국내 반도체 기업들에게도 기회가 열린다. 삼성전자와 SK하이닉스는 HBM(고대역폭 메모리) 공급망에서 핵심 역할을 하고 있고, 파운드리 수요도 덩달아 늘어난다. 자체 칩 설계를 돕는 IP·EDA·패키징 업체들의 수혜도 기대된다.
출처: TechCrunch
