[태그:] 엔비디아

구글, 애플, 오픈AI, 스페이스X. 업종도 목적도 제각각인 이 회사들이 요즘 같은 짓을 하고 있다. 직접 AI 칩을 만드는 거다. 수년 전만 해도 AI 칩 시장은 사실상 엔비디아 독주였다. GPU 없이는 AI 학습 자체가 안 된다는 말이 업계 상식처럼 통했고, 엔비디아 주가가 그걸 증명했다. 근데 판이 흔들리기 시작했다. 왜 다들 갑자기 칩을 만들겠다고 나선 걸까.

AI 칩이란? GPU와 뭐가 다른가

AI 칩은 행렬 곱셈 같은 대규모 병렬 연산에 특화된 반도체다. 엔비디아 GPU는 원래 게임 그래픽 렌더링용으로 나왔는데, 병렬 연산 구조가 AI 학습이랑 딱 맞아서 어쩌다 AI 칩의 대명사가 됐다. 우연이 만들어낸 독점이라고 봐도 무방하다.

문제는 GPU가 범용 설계라는 점이다. 뭐든 할 수 있게 만들다 보니, 특정 AI 작업엔 굳이 필요 없는 자원까지 끌어다 쓴다. 이게 비효율이다. 반면 주문형 AI 칩(custom silicon)은 딱 그 회사가 필요한 연산만 돌리도록 설계된다. 속도는 올라가고 전력 소비는 내려간다.

• GPU: 범용, 유연성 높음, 비용 높음
• Custom AI 칩: 특정 워크로드 특화, 효율 높음, 설계 난이도 높음
• TPU(구글 텐서처리장치): 구글이 자체 개발한 AI 가속기의 대표 사례

엔비디아 의존이 문제가 되는 이유

엔비디아 H100, B200 같은 플래그십 칩은 한 장에 수만 달러다. 대형 AI 모델 하나 학습시키려면 수천 개의 GPU가 필요하고, 비용은 순식간에 천문학적으로 불어난다. 오픈AI가 GPT-4를 학습시키는 데 1억 달러가 넘었다는 추산이 있는데, 그 상당 부분이 GPU 비용이다.

비용만이 문제가 아니다. 공급망 리스크도 현실이었다. 수요가 폭발하면서 납기 지연이 반복됐고, AI 인프라 확장 일정이 칩 공급 일정에 발목 잡히는 상황이 생겼다. 미중 반도체 수출 규제까지 겹치면서 지정학 변수도 더해졌다.

결정적인 건 따로 있다. 엔비디아는 이미 모든 고객사의 경쟁자가 됐다. AI 서비스, 클라우드 플랫폼, 소프트웨어 영역으로 손을 뻗는 중이다. 핵심 인프라를 경쟁사에 맡기는 게 장기적으로 괜찮을 리 없다.

누가 어떤 칩을 만들고 있나

자체 칩 개발 대열은 이미 꽤 길다.

• 구글 TPU: 가장 오래된 사례. 7세대 트리톤까지 진화했고, 구글 클라우드를 통해 외부에도 제공된다.
• 애플 Neural Engine: M 시리즈 칩에 내장된 온디바이스 AI 가속 유닛. 아이폰·맥북의 AI 기능을 GPU 없이 처리한다.
• 아마존 Trainium·Inferentia: AWS에서 모델 학습(Trainium)과 추론(Inferentia)에 각각 최적화된 칩을 운영 중이다.
• 메타 MTIA: 추천 알고리즘 같은 대규모 추론 작업에 특화한 자체 칩이다.
• 오픈AI Jalapeño: 브로드컴과 협력해 개발 중인 추론 전용 칩. 학습이 아닌 서비스 단계 비용을 낮추는 게 목표다.
• 스페이스X: 스타링크 위성 네트워크 운용에 필요한 온보드 AI 처리를 위해 자체 칩을 개발 중이다.

자체 칩 개발, 아무나 할 수 있는 건 아니다

쉬운 길이 아니다. 설계만 해도 수백 명의 반도체 엔지니어가 수년을 매달려야 한다. 설계를 끝냈다고 끝이 아니다. TSMC나 삼성 같은 파운드리에서 양산이 돼야 하고, 첫 테이프아웃(시제품 생산)에서 실패하면 비용과 시간을 고스란히 날린다.

소프트웨어 생태계도 만만찮은 벽이다. 엔비디아 CUDA는 10년 넘게 쌓인 개발자 생태계, 라이브러리, 프레임워크가 촘촘히 얽혀 있다. 새 칩을 내놔도 기존 AI 코드가 그 위에서 돌아가려면 컴파일러와 드라이버를 처음부터 새로 쌓아야 한다. 이건 꽤 지독한 작업이다.

결국 자체 칩 개발은 연 매출 수십억 달러 이상인 빅테크 전용 게임이다. 스타트업이나 중견 기업이 따라 하기 어려운 이유가 여기 있다.

엔비디아는 위기인가

단기적으로는 아니다. 빅테크 자체 칩이 완성되더라도, 수천 개의 기업과 연구소는 엔비디아 GPU를 쓴다. 전 세계 AI 스타트업 생태계가 CUDA 기반으로 돌아가고 있고, 이걸 하루아침에 대체하기는 어렵다.

장기 구조는 바뀔 여지가 있다. 구글, 메타, 아마존, 마이크로소프트는 엔비디아 GPU 최대 소비자군이다. 이들이 자체 칩 비중을 50%만 높여도 엔비디아 매출 구조에 의미 있는 변화가 생긴다. 이건 좀 두고 봐야 하는 얘기다.

엔비디아도 손 놓고 있는 게 아니다. CUDA 생태계 강화, 소프트웨어 플랫폼 확대, 로보틱스·자율주행 등 새 시장으로 매출 다각화를 서두르고 있다.

그래서 뭐가 달라지나

AI 칩 다양화는 결국 AI 서비스 비용 하락으로 이어질 공산이 크다. 추론(inference) 비용이 내려가면 ChatGPT류 서비스 요금이 낮아지거나, 같은 요금으로 더 강력한 모델을 쓰게 된다. 소비자 입장에서는 나쁠 게 없는 흐름이다.

개발자 입장에서는 생태계가 복잡해진다. CUDA 하나만 알면 됐던 시대에서, TPU·Trainium·MTIA 플랫폼별 최적화를 고민해야 하는 시대로 넘어가는 거다. PyTorch, JAX 같은 프레임워크들이 다양한 하드웨어 백엔드를 지원하도록 진화하고 있는 게 그 신호다.

국내 반도체 기업들에게도 기회가 열린다. 삼성전자와 SK하이닉스는 HBM(고대역폭 메모리) 공급망에서 핵심 역할을 하고 있고, 파운드리 수요도 덩달아 늘어난다. 자체 칩 설계를 돕는 IP·EDA·패키징 업체들의 수혜도 기대된다.

출처: TechCrunch

GPU 가격은 알아도, 그 뒤에 얼마나 더 붙는지 계산한 기업은 생각보다 드물다. AI 프로젝트 예산을 짤 때 많은 팀이 NVIDIA GPU 구매비용만 핵심으로 잡는다. 현실은 다르다. 서버, 냉각 시스템, 네트워크 장비, 전력 요금, 전담 인력, 유지보수까지. 하드웨어 구입은 그 긴 목록의 첫 줄에 불과하다. AI가 실제 비즈니스 가치로 이어지는지를 따지려면, 이 숨겨진 비용 구조를 먼저 제대로 들여다봐야 한다.

GPU만 보면 예산이 터진다

AI 학습에 NVIDIA GPU가 필수적인 건 맞다. 그런데 GPU가 제대로 돌아가려면 서버도 있어야 하고, 네트워크 장비도 필요하고, 열 관리를 위한 냉각 시스템도 갖춰야 한다. 대규모 데이터센터를 신설하거나 확장하는 경우엔 여기서 천문학적인 초기 투자금이 나온다. 전력 소모량 증가는 덤이다. 전문 인력 채용과 유지보수까지 합산하면, 처음 예상했던 예산이 두 배가 되는 건 시간문제다. 일각에서는 과도한 데이터센터 구축 열풍이 결국 하드웨어 기업 배만 불리고, 실제로 AI를 쓰는 기업들엔 경제적 부담으로 돌아온다고 지적한다. 이건 좀 과한 비판 같기도 하지만, 초기부터 전체 그림을 그리지 않으면 예산 초과라는 덫에 발목 잡힌다는 점은 틀린 말이 아니다.

클라우드 vs 온프레미스, 어느 쪽이 덜 아플까

AI 인프라 구축 방식은 크게 두 갈래다. 클라우드냐, 온프레미스냐. 비용 구조가 근본적으로 다르다.

• 클라우드 AI: AWS, Google Cloud, Azure 같은 서비스는 초기 부담이 작다. 필요한 만큼 빌려 쓰고, 쓴 만큼 내는 종량제 모델이라 스타트업이나 규모가 유동적인 프로젝트엔 유리하다. 인프라 관리에 시간을 쏟지 않아도 되고, 빠른 구축이 강점이다. 다만 대규모 AI 모델을 장기 운영하면 누적 청구액이 온프레미스보다 훨씬 커진다. 데이터 전송 요금, 특정 벤더 락인 같은 숨은 비용도 있으니 주의가 필요하다.
• 온프레미스 AI: 자체 데이터센터에 서버와 GPU를 직접 구축·운영하는 방식이다. 초기 구축 비용은 크지만, 운영 비용(전력·유지보수 제외)은 상대적으로 예측이 쉽다. 데이터 주권 확보와 보안 강화가 가능하고, 클라우드 제약 없이 커스터마이징도 자유롭다. 단점은 하드웨어 구입·설치·유지보수·전문 인력 고용까지 관리 부담이 크다는 것. 인프라를 확장할 때도 또 대규모 투자가 뒤따른다.

어느 쪽이 더 유리한지는 기업 규모, 데이터 민감도, 프로젝트 성격, 장기 운영 계획을 종합해서 봐야 한다. 비용 하나만 보고 결정하면 나중에 후회할 가능성이 높다. 비즈니스 목표와 맞는 방향이 결국 정답이다.

데이터 준비, 생각보다 훨씬 돈이 든다

AI 모델 성능은 결국 데이터 품질에 달려 있다. 좋은 데이터를 모으고 관리하는 과정이 전체 프로젝트 비용에서 차지하는 비중은, 대부분의 예산안에서 심각하게 저평가된다.

• 데이터 수집 및 정제: 학습에 쓸 데이터를 모으고, 중복·오류 데이터를 걸러내고, 일관된 형식으로 가공하는 일은 시간이 많이 걸리고 높은 전문성을 요구한다. 데이터 엔지니어, 데이터 과학자를 직접 고용하거나 전문 솔루션을 도입해야 하는데, 어느 쪽이든 비용이 만만치 않다.
• 데이터 라벨링(Annotation): 이미지 분류, 객체 인식, 자연어 처리 등 지도 학습 기반 모델을 훈련시키려면 수많은 데이터에 정확한 정답을 달아주는 라벨링이 필수다. 인력에 기대는 경우가 많아, 대규모 프로젝트에서는 인건비 부담이 상당히 크다.
• 데이터 저장 및 보안: 방대한 학습 데이터를 안전하게 저장하고 관리하는 비용도 무시하기 어렵다. 클라우드 스토리지든 온프레미스 스토리지든, 저장 공간 확보·백업·재해 복구 시스템·개인정보 보호 규제 준수까지 챙겨야 한다. 데이터 유출 사고는 금전 손실에 그치지 않고 기업 이미지에 치명타를 줄 수 있어, 보안 투자는 절대 아낄 항목이 아니다.

데이터 준비 과정을 대충 잡으면, 프로젝트 중반에 예상 밖의 비용과 일정 지연이 터진다. 이건 경험담이기도 하다.

배포하고 나서도 비용은 계속 나간다

데이터가 준비됐다고 끝이 아니다. AI 모델이 실제 서비스에서 가치를 만들어내기까지, 여러 단계에서 추가 비용이 붙는다.

• 모델 개발 및 학습: 데이터 과학자들이 모델을 설계하고 학습 알고리즘을 최적화하는 인건비, 그리고 학습에 드는 GPU 시간 비용이 발생한다. 대규모 파운데이션 모델을 학습시키려면 컴퓨팅 파워가 엄청나게 들어간다.
• 모델 배포(MLOps): 개발된 모델을 실제 서비스 환경에 안정적으로 배포하고 운영하려면 MLOps(Machine Learning Operations) 시스템이 필요하다. 모델 버전 관리, CI/CD 파이프라인, 성능 모니터링, 오류 처리 등이 포함되고, MLOps 엔지니어와 관련 솔루션 도입 비용이 이 단계에서 나온다.
• 모델 운영 및 유지보수: 배포 후에도 끝이 아니다. 실제 환경에서 데이터 분포가 달라지거나 새 패턴이 나타나면 모델 성능이 떨어진다. 이걸 ‘모델 드리프트(Model Drift)’라고 부르는데, 정기적인 모니터링·재학습·모델 업데이트가 계속 필요하다. API 호출량에 따른 추론 비용, 시스템 고도화 비용도 꾸준히 발생한다.

AI는 출시하면 끝나는 제품이 아니다. 살아있는 시스템처럼 지속적으로 들여다보고 손봐야 성능을 유지한다.

ROI, 어떻게 현실적으로 잴 수 있나

AI 도입의 실제 가치를 판단하려면 기술적 성과를 넘어 투자 대비 수익률(ROI)을 냉정하게 따져야 한다. 많은 기업이 AI 기술 자체에 매료되어 ‘무엇을 할 수 있는가’에만 집중하다가, ‘그래서 얼마를 벌고 얼마를 아끼는가’를 놓친다. 솔직히 여기서 성공과 실패가 갈린다.

• 명확한 목표 설정: 프로젝트 시작 전에 어떤 비즈니스 문제를 풀 것인지, 어떤 수치를 바꿀 것인지 구체적으로 정해야 한다. 고객 서비스 응답 시간 20% 단축, 제조 공정 불량률 15% 감소처럼 숫자가 들어간 목표여야 나중에 평가가 된다.
• 측정 가능한 지표 정의: 목표를 달성했는지 확인할 핵심 성과 지표(KPI)를 미리 정의하고, AI 도입 전후를 비교 분석해야 한다. 매출 증대, 비용 절감, 생산성 향상, 고객 만족도 개선 등 여러 각도에서 지표를 잡아둔다.
• 파일럿 프로젝트 먼저: 처음부터 큰돈을 쏟기 전에, 소규모 파일럿으로 AI 적용 가능성과 ROI를 먼저 검증하는 게 훨씬 현명하다. 실제 효과를 확인하고, 문제점을 미리 발견하고, 이후 대규모 투자 시 리스크를 크게 줄여준다.
• 간접 효과도 계산에 넣어라: AI는 재무적 효과 외에도 의사결정 속도 향상, 새로운 인사이트 발굴, 경쟁 우위 확보, 브랜드 이미지 제고 같은 무형의 가치를 만들어낸다. 이런 부분도 ROI 계산에 부분적으로 반영할 필요가 있다.

성공적인 AI 도입은 기술 구현보다 비즈니스 가치 창출에 대한 명확한 이해와 전략적 접근에서 시작된다.

비용 아끼면서 AI 제대로 쓰는 실전 조언

AI 비용이 크다고 겁낼 필요는 없다. 전략만 제대로 세우면 충분히 효율적인 도입이 가능하다.

• 작게 시작하고 반복 개선: 처음부터 완벽한 시스템을 만들려 하지 말고, 효과가 가장 클 것으로 예상되는 작은 문제부터 적용한다. 성공 경험을 쌓으면서 점진적으로 확장하는 애자일(Agile) 방식이 리스크를 낮춰준다.
• 오픈소스 최대한 활용: AI 개발엔 TensorFlow, PyTorch, Hugging Face 같은 강력한 오픈소스 프레임워크와 라이브러리가 많다. 적극 쓰면 소프트웨어 개발 비용을 꽤 아낄 수 있고, 커뮤니티 지원도 받는다. 사전 학습된 모델을 활용해 개발 시간을 단축하는 것도 좋은 선택이다.
• 모델 최적화와 경량화: 필요 이상으로 거대한 모델은 컴퓨팅 자원을 과하게 잡아먹는다. 비즈니스 목표에 맞는 최소 복잡도의 모델을 개발하고, 양자화(Quantization)·가지치기(Pruning) 같은 경량화 기법으로 추론 비용을 낮추는 전략이 현실적이다.
• 클라우드 비용 관리(FinOps for AI): 클라우드를 쓴다면 비용 관리가 핵심이다. 안 쓰는 리소스는 바로 끄고, 예약 인스턴스(Reserved Instances)나 스팟 인스턴스(Spot Instances)를 활용해 비용을 낮춘다. 클라우드 제공업체의 비용 관리 도구로 AI 리소스 사용량을 꾸준히 모니터링해야 한다.
• 내부 역량과 외부 협력의 균형: 전부 외부 업체에 맡기기보다, 장기적으로 내부 AI 역량을 쌓는 게 비용 효율 면에서 낫다. 전문성이 필요한 부분은 AI 스타트업이나 컨설팅 업체와 협력해 비용과 시간을 아끼는 방안도 병행할 만하다.

AI가 선택이 아닌 필수가 되어가는 상황에서, 비용을 어떻게 관리하느냐가 도입 성패를 가른다. 기술에 끌려다니지 말고 전략적으로 접근해야 AI의 잠재력을 제대로 끌어낼 수 있다.

출처: Reddit r/technology

NVIDIA의 시가총액이 3조 달러를 넘었다. 반도체 기업이. 엔비디아가 AI 인프라의 중심으로 자리잡은 건 갑작스러운 일이 아니다. 2000년대 초반부터 쌓아온 기술 판단과 전략이 AI 붐을 만나 한꺼번에 터진 것이다. 어떻게 이게 가능했는지, 핵심만 짚어본다.

GPU가 AI 학습에 맞는 이유

CPU는 순차 처리에 강하다. 고성능 코어 8~64개가 복잡한 명령을 빠르게 처리하는 구조다. 반면 GPU는 코어 수가 수천 개다. 동시에 돌아간다. 행렬 곱셈, 벡터 연산 — 딥러닝 학습의 핵심 연산이 딱 이 구조에 맞아떨어진다.

• 병렬 처리의 위력: AI 모델은 수억~수십억 개의 매개변수를 한꺼번에 업데이트하며 학습한다. GPU는 이 계산을 동시에 처리해 학습 시간을 CPU 대비 수십 배 단축한다. 연구자 입장에서 이건 실험 사이클 전체가 달라지는 얘기다.
• 메모리 대역폭: 이미지, 영상, 텍스트 데이터를 쏟아붓는 현대 AI 모델은 메모리 대역폭이 병목이 된다. GPU의 높은 대역폭이 데이터를 빠르게 밀어 넣는 역할을 한다. H100 기준 3.35TB/s다.
• NVIDIA의 선견지명: 2000년대 초반부터 GPU를 범용 컴퓨팅에 쓸 수 있다는 비전으로 투자를 시작했다. 당시엔 뜬구름 잡는 소리처럼 들렸을 것이다. 결과적으로 이 판단이 지금의 독점적 지위를 만들었다.

이 구조적 이점 때문에 AI 연구자들이 딥러닝 모델 훈련에 GPU를 쓰기 시작했고, NVIDIA 수요는 폭발했다. 2022년 ChatGPT 이후로는 말할 것도 없다.

CUDA: 진짜 해자는 하드웨어가 아니다

경쟁사들도 GPU를 만든다. AMD, 인텔, 구글까지. 그런데도 NVIDIA가 흔들리지 않는 이유의 상당 부분은 CUDA(Compute Unified Device Architecture)에 있다. 하드웨어만 있다고 되는 게 아니다.

• 개발 환경: CUDA는 C/C++ 기반 프로그래밍 환경에 cuDNN, cuBLAS 같은 딥러닝 특화 라이브러리를 갖췄다. 연구자가 저수준 하드웨어 코딩 없이 GPU 성능을 끌어다 쓸 수 있는 구조다. PyTorch, TensorFlow의 기본 백엔드가 CUDA인 건 우연이 아니다.
• 커뮤니티와 문서: 2006년 CUDA 출시 이후 20년 가까이 쌓인 자료, 튜토리얼, 답변이 수십만 건이다. AMD의 ROCm이 기술적으로 나쁘지 않아도 생태계 격차를 좁히기 어려운 이유가 여기에 있다. 새 플랫폼으로 갈아타는 전환 비용이 너무 크다.
• 사실상의 표준: 대학 연구실, 스타트업, 빅테크 모두 CUDA로 훈련시킨다. 새 연구원을 채용하면 이미 CUDA 경험자다. 이 관성이 경쟁사가 따라오기 가장 어려운 부분이다.

CUDA 없이 NVIDIA의 GPU 독점을 설명하는 건 불가능하다. 하드웨어는 복사할 수 있어도, 20년 생태계는 복사가 안 된다.

A100, H100, Blackwell — 칩 진화의 속도

AI 모델 규모가 커질수록 NVIDIA의 데이터센터 GPU 스펙도 같이 올라갔다. GPT-3는 A100 수천 장으로 훈련됐다. GPT-4는 H100 클러스터였다. Blackwell 아키텍처는 그 다음 수순이다.

• 전문 AI 칩: H100은 80GB HBM3 메모리, 3.35TB/s 대역폭, FP8 정밀도 기준 최대 3,958 TFLOPS 성능을 낸다. 대규모 언어 모델 훈련에 수천 장이 동시에 돌아가는 게 지금의 AI 인프라 현실이다. 칩 하나가 수만 달러짜리 고가 제품이고, 수요가 공급을 초과하는 상황이 몇 년째 이어지고 있다.
• NVLink와 InfiniBand: 단일 GPU 한계를 넘는 기술이다. NVLink는 GPU 간 데이터 전송을 PCIe 대비 수배 빠르게 처리하고, InfiniBand 네트워크로 수백~수천 장을 하나의 클러스터처럼 묶는다. 이 구조 위에 AWS, Azure, Google Cloud의 AI 인프라가 올라가 있다.
• 클라우드 인프라 장악: 아마존, 마이크로소프트, 구글이 자체 AI 칩(Trainium2, Maia, TPU v5)을 개발 중이지만, 현재 클라우드 AI 워크로드의 대부분은 여전히 NVIDIA GPU에서 돈다. 이 현실이 바뀌려면 시간이 상당히 걸린다.

H100 납기가 수개월씩 밀렸던 게 불과 작년 얘기다. 공급 부족이 곧 가격 결정력이고, 그게 곧 이익률이다.

수백억 달러 스타트업 베팅의 구조

TechCrunch가 전한 바에 따르면 NVIDIA가 보유한 AI 스타트업 지분 총액이 수백억 달러에 달한다. 단순 재무 투자가 아니다. 구조적으로 설계된 생태계 확장이다.

• 수요 선순환: 투자를 받은 스타트업은 NVIDIA GPU와 CUDA 스택으로 제품을 만든다. 그 스타트업이 성장하면 GPU 수요도 같이 늘어난다. NVIDIA 매출이 자동으로 따라 올라오는 구조다. 스타트업의 성공이 곧 NVIDIA의 성공이다.
• 미래 시장 선점: 시드~시리즈A 단계에서 들어가면 기술 방향을 일찍 읽고, 유망 기업을 파트너로 묶어둔다. 경쟁자가 될 수 있는 기업을 생태계 안으로 끌어들이는 효과도 있다.
• 기술 지원과 혁신 촉진: 컴퓨팅 자원이 부족한 초기 AI 기업에 GPU 크레딧과 기술 지원을 제공한다. 이 기업들이 새로운 AI 활용 사례를 만들어내면, 결국 NVIDIA 하드웨어 수요로 돌아온다.

투자 포트폴리오가 AI 산업 지도와 거의 겹친다. 우연이 아니라 전략이다.

Clara, DRIVE, Omniverse — 소프트웨어 수직화

NVIDIA가 밀고 있는 방향은 하드웨어 위에 소프트웨어 레이어를 쌓는 수직 통합이다. GPU만 팔아서는 경기 사이클에 취약하다는 걸 알기 때문이다.

• 산업별 플랫폼: Clara(의료 영상 분석), DRIVE(자율주행), Omniverse(산업 디지털 트윈). 각 산업의 AI 워크플로에 특화된 소프트웨어 스택이다. 이게 자리를 잡으면 경쟁사 GPU로 갈아타는 게 훨씬 복잡해진다. 락인(lock-in) 효과가 하드웨어보다 강하다.
• DGX Cloud: 최신 AI 인프라를 클라우드 구독 형태로 제공한다. 수억 원짜리 H100 서버를 직접 사지 않아도 NVIDIA 성능을 쓸 수 있는 구조다. 칩 교체 주기와 무관하게 월정액 수익이 들어온다.
• 매출 다각화: 소프트웨어 라이선스, 구독, 클라우드 서비스는 하드웨어 사이클과 분리된 수익 흐름이다. 반도체 업황이 꺾여도 버퍼가 생긴다는 뜻이다. 이게 NVIDIA를 단순 칩 제조사와 다르게 보는 이유다.

이 전략이 성공하면 NVIDIA는 칩 제조사에서 AI 시대의 종합 인프라 기업으로 포지션이 달라진다. 실제로 그쪽으로 가고 있다.

남은 변수들

AMD MI300X, 구글 TPU v5, 아마존 Trainium2, 마이크로소프트 Maia — 경쟁은 현실이다. 빅테크들이 자체 칩에 수십억 달러를 쏟아붓고 있고, 성능도 빠르게 올라오고 있다. NVIDIA가 영원히 독주할 거라 보기엔 이르다.

• Blackwell의 기술 격차: NVIDIA는 Blackwell 아키텍처로 H100 대비 최대 30배 추론 성능 향상을 내세운다. 경쟁사들이 이 격차를 좁히려면 몇 세대를 더 거쳐야 한다. 그사이 NVIDIA는 또 다음 세대를 내놓는다.
• 지정학 리스크: 미국의 대중국 반도체 수출 규제는 NVIDIA에 직접적인 타격이다. H100 수출이 막히자 H800, A800 같은 다운그레이드 버전을 별도로 내놨지만, 규제가 강화되면서 이마저도 막혔다. 중국 시장 매출 비중이 상당했던 만큼 이 리스크는 현재진행형이다.
• 차세대 컴퓨팅: 양자 컴퓨팅, 뉴로모픽 칩이 GPU를 언제 대체할지는 아무도 모른다. NVIDIA도 이 분야 연구를 진행 중이지만, 지금 당장 사업에 미치는 파급은 미미하다. 10년 단위의 리스크다.

NVIDIA가 쌓아온 건 GPU 성능 하나가 아니다. 하드웨어, CUDA 생태계, 스타트업 네트워크, 소프트웨어 스택을 동시에 쥔 복합 구조다. 이걸 흔들려면 경쟁사 혼자로는 역부족이고, 산업 패러다임 자체가 바뀌어야 한다. 그 시간이 얼마나 걸릴지가 진짜 관전 포인트다.

출처: TechCrunch

엔비디아 GPU가 AI 컴퓨팅 시장에서 80%를 넘는 점유율을 가져간다. 게임용 그래픽카드를 잘 만들어서? 절반만 맞는 말이다. 진짜 이유는 소프트웨어에 있다. ‘CUDA(쿠다)’라는 플랫폼이 없었다면 지금의 엔비디아도 없었다고 봐도 무방하다.

CUDA를 모르고 엔비디아를 이야기하는 건 OS를 빼고 PC를 설명하는 것과 비슷하다. 하드웨어는 껍데기다. 그 안을 채우는 건 소프트웨어다.

CUDA, 한 줄로 설명하면

CUDA는 ‘Compute Unified Device Architecture’의 약자다. 엔비디아가 만든 GPU를 일반 계산 작업에 쓸 수 있도록 풀어주는 프로그래밍 플랫폼이다. CPU가 한 가지 일을 빠르게 처리하는 단거리 선수라면, GPU는 수천 개의 코어로 같은 일을 동시에 처리하는 대형 공장에 가깝다. 원래 GPU는 그래픽 렌더링 전용이었다. CUDA가 그 빗장을 열었다.

구성 요소는 세 가지다:

• CUDA ISA (명령어 집합): GPU가 알아듣는 언어 체계다.
• CUDA API: C, C++, 포트란 등 익숙한 언어로 GPU를 제어하게 해주는 함수 모음. 이게 없었다면 GPU 프로그래밍은 훨씬 난해한 영역으로 남았을 것이다.
• CUDA 드라이버: OS와 GPU 사이에서 통역을 맡는다.

이 셋이 합쳐지면서 개발자들은 GPU 내부 구조를 속속들이 몰라도 병렬 연산을 끌어다 쓰게 됐다. 솔직히 이게 CUDA 성공의 핵심이다. 쓰기 쉬워야 쓴다. 기술이 아무리 좋아도 진입 장벽이 높으면 개발자들은 딴 길을 찾는다. 좋은 하드웨어가 시장을 먹는 게 아니라, 쓰기 편한 생태계가 시장을 먹는다.

왜 AI 학습에는 GPU가 필수인가

딥러닝 모델 학습의 본질은 행렬 곱셈이다. 수십억 개의 파라미터를 반복해서 곱하고 더하는 작업. CPU로 하면 며칠이 걸릴 일을 GPU+CUDA로 하면 몇 시간으로 줄인다. 이게 AI 붐과 엔비디아가 동시에 폭발한 이유다.

CUDA의 병렬 처리 방식은 세 가지 축으로 작동한다:

• 스레드 수: GPU 코어 수천 개를 이용해 동시에 수만~수십만 개의 연산을 돌린다.
• 데이터 병렬 처리: 이미지 한 장의 픽셀 수백만 개에 같은 필터를 동시 적용하는 식. 순차 처리와는 차원이 다른 속도가 나온다.
• 메모리 계층 관리: GPU 내 고속 공유 메모리와 전역 메모리를 효율적으로 배분해 스레드 간 병목을 줄인다.

이 구조가 AI 연산과 딱 맞아떨어졌다. 타이밍이 좋았던 건지, 엔비디아가 시장을 먼저 읽은 건지. 어쨌든 결과적으로 엄청난 수혜를 입었다.

개발자를 붙잡아 두는 생태계

엔비디아 독점의 실질적인 성벽은 하드웨어가 아니다. 생태계다. CUDA 주변에 쌓인 라이브러리와 도구들이 개발자를 가두는 구조를 만든다.

• cuDNN: 딥러닝 연산 가속 전용 라이브러리. 엔비디아 엔지니어들이 직접 GPU에 맞게 최적화한다.
• cuBLAS: 선형대수 연산 가속. 행렬 곱셈 같은 기초 연산이 놀랍도록 빠르게 돌아간다.
• cuFFT: 고속 푸리에 변환 가속. 신호 처리, 이미지 분석 등에 쓰인다.

결정타는 따로 있다. PyTorch와 TensorFlow가 CUDA를 기본 지원한다. AI 개발자라면 이 두 프레임워크를 피할 수 없다. 결국 엔비디아 GPU를 쓸 수밖에 없는 구조가 완성된다.

한번 CUDA로 코드를 짜놓으면 다른 플랫폼으로 옮기는 비용이 만만치 않다. 코드를 다 뜯어고쳐야 하고, 팀 내 러닝커브도 새로 쌓아야 한다. 이게 락인(Lock-in) 효과다. 의도한 건지 아닌지는 모르겠지만, 엔비디아한테는 최고의 해자(垓字)가 됐다.

AMD ROCm, OpenCL — 대안은 왜 안 먹히나

CUDA 독점에 불만을 품은 진영이 내놓은 대안들이 있다. AMD의 ROCm(라데온 오픈 컴퓨트 플랫폼)과 크로노스 그룹의 OpenCL이 대표적이다. 벤더 종속에서 벗어난다는 명분도 나쁘지 않다.

그런데 아직은 역부족이다. 이유는 세 가지다:

• 최적화 격차: CUDA는 수십 년간 엔비디아 GPU 하드웨어에 맞춰 갈고닦았다. 오픈소스 진영이 단기간에 따라잡기 어려운 수준의 튜닝이 쌓여 있다.
• 생태계 규모 차이: 문서, 튜토리얼, 커뮤니티 답변 수만 봐도 CUDA가 압도한다. 막히는 부분이 생겼을 때 검색 한 번으로 해결되는 CUDA와, 포럼을 뒤져도 답이 없는 ROCm은 개발자 경험이 다르다.
• 레거시의 무게: AI 초기부터 CUDA로 짠 코드들이 인프라 곳곳에 박혀 있다. 다른 플랫폼으로 마이그레이션하는 데 드는 비용과 리스크는 웬만한 기업이 감당하기 어렵다.

엔비디아는 Open-CUDA 같은 개방화 시도에도 강하게 방어선을 친다. 핵심 경쟁력을 공유할 이유가 없다는 거다. 이 고집이 지금의 엔비디아를 만들었다. 틀린 판단은 아니다.

다음 수순 — 양자컴퓨팅까지 CUDA로

CUDA는 엔비디아에게 단순한 개발 도구가 아니다. 미래 컴퓨팅 판에서 주도권을 유지하기 위한 플랫폼이다.

• AI 인프라의 기반: AI 모델이 커질수록 필요한 연산량도 늘어난다. CUDA의 역할도 커진다. GPT 같은 초대형 모델이 계속 나오는 한, 이 흐름은 바뀌지 않는다.
• 하드웨어-소프트웨어 동시 개발: GPU 설계 단계부터 CUDA와의 최적화를 함께 고려한다. 하드웨어와 소프트웨어를 따로 만드는 경쟁사들이 따라잡기 힘든 구조다.
• 양자컴퓨팅 선점: 엔비디아는 이미 CUDA 기반 양자컴퓨팅 플랫폼 cuQuantum을 내놨다. 양자 시대가 와도 CUDA 생태계 위에서 작동하게 만들겠다는 포석이다. 이건 솔직히 좀 대단한 수다.

엔비디아는 GPU를 팔지만, 수익 구조의 뿌리는 CUDA 생태계다. 개발자들이 CUDA에 묶이면 GPU 수요는 자연스럽게 따라온다. 하드웨어 장사처럼 보이지만, 본질은 소프트웨어 비즈니스다.

CUDA 실제로 쓰려면 — 진짜 팁

AI 개발이나 고성능 컴퓨팅 환경을 구성한다면 CUDA는 피하기 어렵다.

• 버전 맞추기가 첫 번째 관문: TensorFlow나 PyTorch가 요구하는 CUDA 버전을 미리 확인해야 한다. GPU 드라이버 버전, CUDA 툴킷 버전, 프레임워크 버전이 삼각형처럼 맞아떨어져야 한다. 이게 어긋나면 설치는 됐는데 작동이 안 되는 황당한 상황이 벌어진다. 실제로 경험자들이 제일 많이 막히는 지점이다.
• 공식 문서가 답이다: 엔비디아 CUDA Zone의 공식 문서가 가장 정확하다. 블로그 글보다 공식 문서를 먼저 펴는 습관을 들이면 시행착오가 줄어든다.
• 커뮤니티는 스택오버플로우와 엔비디아 개발자 포럼: 막히는 지점이 생기면 십중팔구 같은 문제를 먼저 겪은 사람이 있다. 검색만 잘 해도 해결되는 경우가 많다.
• GPU 직접 살 필요 없다: AWS, Google Cloud, Azure 모두 엔비디아 GPU 인스턴스를 제공한다. 필요할 때만 빌려 쓰면 초기 비용 부담이 없다. 고가의 GPU를 당장 구매하지 않아도 된다는 점은 생각보다 큰 장점이다.

결국 CUDA는 엔비디아를 하드웨어 회사가 아닌 컴퓨팅 플랫폼 기업으로 바꿔놓은 핵심이다. AI 시대에 이 생태계를 이해하고 쓸 줄 안다는 건, 단순히 기술 스펙 하나를 아는 것 이상이다.

출처: Wired

엔비디아 GPU 하나 구하려고 몇 달을 기다렸다는 얘기, 요즘은 흔한 이야기가 됐다. AI 붐이 하드웨어 수급까지 흔들어놓은 결과다. 그런데 막상 GPU를 확보하더라도 "TPU가 낫지 않을까?" 하는 의구심은 여전히 남는다. 둘 다 AI 학습에 쓰이는 건 맞는데, 뭐가 다른 걸까. 개발 비용과 최종 성능을 좌우하는 결정인 만큼, 핵심 차이부터 짚어본다.

GPU: 만능이라는 게 진짜 장점인 하드웨어

GPU는 원래 게임 그래픽 처리용으로 만들어졌다. 근데 병렬 연산 능력이 워낙 뛰어나다 보니, 어느 순간 딥러닝 연구자들이 "이거 써보면 어떨까" 했고, 지금은 AI 학습의 사실상 표준이 됐다. 엔비디아가 CUDA 플랫폼을 내놓으면서 이 흐름을 완전히 굳혔다.

GPU의 진짜 강점은 범용성이다.

• 워크로드 다양성: 딥러닝 학습뿐 아니라 물리 시뮬레이션, 유전체 분석, 금융 모델링 같은 고성능 컴퓨팅 작업도 무리 없이 돌아간다. 딥러닝만 하는 장비가 아니라는 뜻이다.
• 생태계 두께: TensorFlow, PyTorch, JAX — 거의 모든 딥러닝 프레임워크가 CUDA를 기본으로 지원한다. 논문 코드를 내려받아 실행해보고 싶을 때, 대부분 GPU면 바로 된다. 새 모델이 나오면 GPU 기반 구현체가 같은 날 올라오는 경우도 많다.
• 모델 커버리지: CNN, RNN, 트랜스포머 등 구조를 가리지 않는다. 어지간한 모델은 GPU에서 그냥 돌아간다고 봐도 무방하다.

단점도 있다. 범용이다 보니, 딥러닝 특정 연산에서 최고 효율을 내려면 별도 튜닝이 필요하다. "만능이지만, 그게 곧 최강은 아니다"라는 얘기다.

TPU: 딥러닝 하나만 파고든 전문가

TPU(Tensor Processing Unit)는 구글이 처음부터 딥러닝을 위해 설계한 ASIC(주문형 반도체)다. 범용으로 쓰기 어려운 대신, 딥러닝의 핵심인 행렬 곱셈과 컨볼루션 연산만큼은 극도로 효율적으로 처리한다.

• 딥러닝 특화 설계: 같은 전력을 써도 특정 모델에서는 GPU보다 학습 속도가 훨씬 빠르다. 구글이 내놓은 최신 세대 TPU는 이전 세대보다 처리 속도와 전력 효율 두 가지를 동시에 끌어올렸다고 강조한다.
• 비용 구조: 대규모 학습 기준으로, GPU 대비 낮은 비용에 더 높은 성능을 낼 여지가 있다. 전력 소비량이 줄어드니 장기 운영비도 따라서 내려간다.
• 구글 클라우드 종속: GCP에서만 접근 가능하다. TensorFlow, JAX와 궁합이 맞고, 그 외엔 좀 불편하다.

딥러닝 외 작업? 비추다. 그 용도로 설계된 게 아니니까.

성능 비교: 어떤 작업이냐에 따라 완전히 달라진다

TPU 대 GPU, 어느 쪽이 더 빠른지 묻는 건 마치 "칼이 좋아, 포크가 좋아?"랑 비슷한 질문이다. 작업 성격에 따라 답이 완전히 갈린다.

• 대형 언어 모델·트랜스포머 학습: TPU가 유리하다. 배치 사이즈를 크게 잡고 장시간 학습할수록 TPU의 아키텍처가 빛을 발한다. 구글이 자사 최신 TPU의 비용 대비 성능을 특히 강조하는 배경이기도 하다.
• 실시간 추론(Inference): 둘 다 선택지가 된다. 단, 모델 크기와 응답 지연 허용치에 따라 상황이 달라진다. 엣지 환경이라면 Edge TPU 같은 경량 솔루션이 더 잘 맞기도 한다.
• 연구·실험 단계: GPU 쪽이 손에 익다. 작은 배치로 빠르게 실험을 반복하고, 코드를 금방 고쳐가며 돌려야 하는 상황엔 GPU의 유연성이 훨씬 편하다.

비용을 따진다면, 장기적이고 대규모인 학습 프로젝트는 TPU가 총소유비용(TCO) 면에서 유리할 가능성이 있다. 초기 진입 비용은 높을 수 있지만, 전력 효율이 좋으니 수개월치 운영비를 더하면 역전되는 경우가 생긴다. 반대로 단기 실험이나 혼합 워크로드라면 GPU가 더 경제적이다.

생태계 차이: 코드 갈아엎기 싫다면 이게 제일 중요하다

하드웨어를 고를 때 성능만큼이나 현실적인 고려가 있다. 바로 지금 팀이 쓰는 스택이다.

• GPU·CUDA 생태계: 수십 년치 라이브러리, 튜토리얼, 커뮤니티가 쌓여 있다. 엔비디아 GPU는 클라우드는 물론 온프레미스 서버, 개인 워크스테이션까지 어디서든 돌아간다. 팀원이 PyTorch 코드를 들고 와도 별다른 수정 없이 바로 실행된다는 점, 새 기술 스택 학습 부담이 적다는 점이 실제 개발 속도에 주는 이점은 생각보다 크다.
• TPU·구글 생태계: GCP에 묶여 있고, TensorFlow나 JAX에 익숙해야 효율이 난다. TPU에 맞게 데이터 파이프라인을 재구성하거나 특정 연산 방식을 바꿔야 하는 경우도 있다. 구글이 자사 TPU를 밀면서도 GCP 내 엔비디아 GPU 지원을 병행하는 건, TechCrunch 보도를 보면 GPU 생태계의 파워를 인정하면서 개발자에게 선택지를 열어두는 전략으로 읽힌다.

어떤 걸 골라야 하나: 상황별 판단 기준

결국 선택 기준은 네 가지다.

1. 모델 종류:
   • 트랜스포머·대형 언어 모델을 대규모로 학습시킨다 → TPU
   • 구조를 다양하게 실험하거나 비딥러닝 연산도 섞인다 → GPU
2. 학습 규모와 기간:
   • 수개월짜리 대규모 반복 학습 → TCO 계산해보면 TPU가 낫다
   • 단기 실험, 소규모 프로젝트 → GPU가 경제적이다
3. 팀 기술 스택:
   • TensorFlow·JAX 쓰고 GCP 메인 → TPU 전환 장벽이 낮다
   • PyTorch 기반, CUDA에 익숙 → 굳이 바꿀 이유가 없다
4. 클라우드 전략:
   • GCP 올인 → TPU 적극 검토할 만하다
   • 멀티 클라우드, 온프레미스 병행 → GPU가 훨씬 유연하다

양강을 넘어: 군웅할거 시대의 AI 가속기

엔비디아와 구글만 싸우던 시대는 이미 끝났다. 인텔 Gaudi, 아마존 Trainium과 Inferentia까지 가세하면서 AI 가속기 시장은 빠르게 다각화되고 있다. 각 클라우드 업체가 자사 워크로드에 특화된 칩을 직접 설계하는 흐름이다.

결국 "어떤 가속기가 최고인가"보다 "지금 내 프로젝트엔 뭐가 맞나"를 물어야 한다. GPU가 범용의 왕이라면, TPU는 대규모 딥러닝의 전문가다. 둘을 동시에 쓰는 하이브리드 전략도 현실에서 흔히 쓰인다. AI 개발 환경이 빠르게 바뀌는 만큼, 특정 도구에만 의존하지 않고 유연하게 대응하는 게 장기적으로 유리하다.

출처: TechCrunch

데이터센터 랙을 열면 엔비디아 GPU가 빽빽하다. 이제 이 풍경이 너무 익숙해졌다. AI 붐이 터지면서 H100 하나 구하려고 수개월을 기다린다는 얘기가 나올 만큼, 엔비디아는 AI 인프라의 기본값이 됐다. 단순한 그래픽 카드 회사가 아니다. AI 생태계의 표준 자체를 쥐고 있는 기업이다. 근데 이 독점적 위치가 영원할까? 미중 기술 전쟁, 경쟁사들의 반격, 공급망 리스크까지 — 엔비디아 앞에 놓인 변수는 생각보다 복잡하다.

GPU 하나가 생태계 전체를 삼킨 방법

엔비디아가 AI 시장을 장악한 건 GPU 성능 때문만이 아니다. 핵심은 CUDA(Compute Unified Device Architecture)다. 2006년에 처음 공개된 이 병렬 컴퓨팅 플랫폼이 AI 연구자들의 표준 개발 환경으로 자리 잡으면서, 엔비디아 GPU가 없으면 AI 개발 자체가 불편해지는 구조가 만들어졌다. 락인(Lock-in)이라고 부르기도 하는데, 솔직히 이건 전략이라기보다는 생태계가 자연스럽게 굳어진 결과다.

• 하드웨어 우위: H100, GH200은 단순히 빠른 게 아니라 연산당 전력 소비 자체가 다르다. 경쟁 칩 대비 에너지 효율에서 아직 격차가 크다.
• 소프트웨어 생태계: CUDA 기반 라이브러리와 프레임워크가 수천 개에 달한다. 이걸 AMD나 인텔 칩으로 그대로 옮기는 게 얼마나 고통스러운 일인지, AI 개발자들은 잘 안다.
• 데이터센터 표준: AWS, 구글 클라우드, 마이크로소프트 애저 모두 엔비디아를 기본 AI 인프라로 쓴다. 점유율 80% 이상이라는 숫자가 괜히 나온 게 아니다.

ChatGPT를 학습시킨 것도, 자율주행 모델을 훈련시키는 것도, 로봇 팔에 AI를 심는 것도 거의 다 엔비디아 위에서 돌아간다. 이쯤 되면 인프라가 아니라 공기 같은 존재다.

수출 통제라는 폭탄, 그리고 엔비디아의 딜레마

미국 상무부가 고성능 AI 칩의 중국 수출을 막기 시작한 건 2022년부터다. A100, H100처럼 특정 연산 성능을 넘는 칩은 중국으로 팔 수 없게 됐다. 표면적인 이유는 군사 전용 가능성. 중국 AI 기업들이 이 칩으로 군사 시스템을 개발할 수 있다는 우려였다.

• 수출 제한 대상: A100, H100을 포함한 첨단 AI 가속기들이 규제 목록에 올랐다. 엔비디아 매출에서 중국이 차지하는 비중은 규제 전까지 20%를 웃돌았다.
• 기술 접근 차단: 바이두, 화웨이, 알리바바 막론하고 중국 빅테크들은 최고급 GPU를 더 이상 공식 루트로 구매하기 어렵게 됐다.
• 사업 전략 전면 수정: 엔비디아 입장에선 매출 규모가 상당한 시장 하나를 사실상 잃는 상황이 됐다. 대응이 불가피했다.

이게 단순히 엔비디아 매출 문제로 끝나면 좋겠지만, 현실은 더 복잡하다. 글로벌 AI 기술 발전 속도와 반도체 공급망 재편에까지 파급효과가 번진다. 규제를 준수하면서 사업을 유지해야 하는, 꽤 까다로운 줄타기 앞에 서게 됐다.

중국을 못 버리는 이유

규제가 강화됐다고 중국 시장을 포기하기엔, 그 규모가 너무 크다. 중국은 지금 세계에서 AI 투자가 가장 뜨거운 나라 중 하나다. 정부 주도 AI 프로젝트만 해도 수십 개고, 민간 AI 스타트업 투자도 엄청나다. 엔비디아가 이 시장을 완전히 놓치면? 그 자리를 화웨이나 중국 로컬 칩이 채울 가능성이 높다.

• 규제 맞춤형 칩 개발: 수출 통제 기준 아래에 맞춘 저사양 커스텀 칩을 내놨다. HGX H20, L20, L2 같은 중국 전용 제품들이다. H100보다 성능은 낮지만, 그래도 팔 수 있는 게 낫다는 판단이다.
• 현지 파트너십 유지: 중국 내 클라우드 기업, AI 스타트업과의 협력 관계를 끊지 않고 유지하고 있다. 규제가 다시 바뀔 수도 있으니 관계를 살려둬야 한다는 계산도 깔려 있다.
• 장기 포석: 단기 매출보다 시장 존재감을 유지하는 쪽에 무게를 두는 전략이다. 중국이 언젠가 다시 열릴 때를 대비하는 셈이다.

규제와 시장 사이에서 줄타기하는 게 쉬운 일은 아니다. 중국에서 어떤 위치를 유지하느냐가 엔비디아의 글로벌 리더십과 직결된다는 점은 분명하다.

AMD, 구글, 아마존까지 — 다들 덤비고 있다

엔비디아 독점이 오래가긴 어려울 것 같다. 사방에서 도전자들이 나타나고 있다.

• AMD의 반격: MI300 시리즈로 H100에 직접 도전장을 내밀었다. 가격 대비 성능으로 시장을 파고드는 전략인데, 메타나 마이크로소프트 같은 곳에서 MI300을 테스트하는 사례가 늘고 있다.
• 클라우드 자체 칩: AWS 트레이니움(Trainium)과 인퍼런시아(Inferentia), 구글 TPU(Tensor Processing Unit), 마이크로소프트 마이아(Maia). 엔비디아의 최대 고객들이 직접 칩을 만들기 시작했다. 엔비디아 의존도를 줄이고 단가를 낮추겠다는 의도다. 이건 꽤 위협적인 그림이다.
• 오픈소스 하드웨어: RISC-V 기반 맞춤형 칩 설계가 현실화되고 있다. AI 모델 경량화 기술이 발전하면서 고성능 GPU가 무조건 필요한 시대가 끝날 수도 있다는 얘기도 나온다.
• 차세대 컴퓨팅: 광학 컴퓨팅, 양자 컴퓨팅이 상용화 단계에 접어들면 GPU 중심 아키텍처 자체가 흔들릴 수 있다. 아직은 먼 얘기지만, 무시할 수 없는 변수다.

기술적 우위를 유지하는 게 엔비디아 생존을 좌우할 핵심 조건이다. 지금은 압도적으로 앞서 있지만, 경쟁 구도는 빠르게 달라지고 있다.

블랙웰 다음엔 루빈, 그 다음엔?

엔비디아는 지금의 위치에 멈춰 있지 않다. 다음 세대 기술 로드맵을 착실하게 쌓아가고 있다.

• 아키텍처 순차 출시: 호퍼(Hopper) → 블랙웰(Blackwell) → 루빈(Rubin) 순으로 차세대 GPU 아키텍처를 내놓을 계획이다. 단순히 빨라지는 게 아니라 칩 간 통신 속도, 더 복잡한 AI 모델 처리 효율까지 달라진다.
• 통합 플랫폼 전략: GPU만 파는 게 아니다. NVLink와 InfiniBand 기반의 초고속 네트워킹, CUDA와 cuDNN 같은 소프트웨어까지 묶어 AI 플랫폼 솔루션으로 팔겠다는 그림이다. 하드웨어만 팔면 대체당할 수 있지만, 플랫폼 전체를 묶어두면 얘기가 다르다.
• 추론(Inference) 시장 선점: AI 학습이 끝나면 이제 실제로 쓰는 게 남는다. 추론 단계 전용 칩과 소프트웨어 최적화에 공을 들이고 있다. 이 시장이 학습 시장보다 훨씬 빠르게 커지는 중이다.
• 신규 산업 공략: NVIDIA DRIVE(자율주행), NVIDIA Isaac(로봇공학), NVIDIA Omniverse(디지털 트윈·산업 메타버스). AI가 들어갈 수 있는 모든 분야에 발을 걸쳐두겠다는 전략이다.

하드웨어와 소프트웨어를 동시에 쥐고 가는 이 통합 접근 방식은, 경쟁사가 GPU 성능을 따라잡더라도 생태계 자체를 대체하기 어렵게 만드는 구조다.

TSMC 하나에 목 매는 구조의 위험

엔비디아의 약점 중 가장 구조적인 문제는 공급망이다. 최첨단 반도체 생산을 TSMC에 거의 전적으로 의존하고 있는데, 이게 양날의 검이다.

• 파운드리 집중 의존: TSMC의 생산 라인에 문제가 생기면 엔비디아 공급도 바로 막힌다. 2020~2021년 반도체 대란 때 이미 경험한 일이다.
• 대만 해협 리스크: 미중 갈등이 고조될수록 TSMC의 주요 생산 기지가 있는 대만이 지정학적으로 예민해진다. 최악의 시나리오가 현실화되면 글로벌 반도체 공급망 전체가 뒤흔들린다.
• 다변화 모색 중: 엔비디아도 이 리스크를 모르지 않는다. 다른 파운드리 업체와의 협력 가능성 검토, 특정 부품의 이원화 등 공급망 분산을 위한 움직임이 있다. 하지만 아직 TSMC 의존 구조를 완전히 벗어나기는 어렵다.

아무리 좋은 칩 설계를 해도 만들지 못하면 의미가 없다. 공급망의 안정성이 엔비디아 미래 경쟁력의 절반을 결정한다고 해도 과언이 아니다.

결국 살아남는 쪽이 이기는 게임

미중 기술 패권 경쟁 한가운데서 엔비디아가 지속 성장을 이어가려면, 기술력 하나만으로는 부족하다. 정치, 외교, 공급망, 시장 다각화까지 동시에 챙겨야 한다.

• 정책 공조: 미국 정부 수출 통제 정책을 면밀히 따르면서 당국과 긴밀하게 소통하는 게 기본이다. 엔비디아가 ‘안보 위협’으로 낙인찍히는 순간 사업 전체가 흔들린다.
• 기술 투자 지속: 경쟁사가 따라오고 규제가 강화되는 상황에서도 GPU 아키텍처 개발과 소프트웨어 생태계 확장을 멈추지 않는다. 이게 엔비디아의 핵심 경쟁력이다.
• 시장 다각화: 중국 의존도를 줄이고 인도, 유럽, 중동 AI 시장을 공략하는 동시에 의료, 금융, 제조업 분야 솔루션을 넓힌다. 한 시장에 흔들려도 버티는 구조를 만드는 작업이다.
• 플랫폼 기업 전환: 하드웨어 판매에서 AI 개발·배포 통합 플랫폼 서비스로 무게중심을 옮긴다. 소프트웨어 구독과 클라우드 기반 AI 서비스로 수익 구조를 다양하게 가져가면, 칩 하나 못 팔더라도 버틸 여지가 생긴다.

엔비디아는 지금 이 업계에서 가장 강력한 패를 쥐고 있다. 근데 패가 좋다고 게임을 이기는 건 아니다. 지정학적 압박과 사방에서 치고 들어오는 경쟁 속에서 어떻게 움직이느냐가 앞으로의 10년을 결정할 것이다.

출처: Reddit r/technology

챗GPT가 터지기 전까지만 해도 GPU가 AI의 전부인 줄 알았다. 엔비디아 주가가 왜 저렇게 오르나 했더니, AI 모델 훈련에 GPU가 핵심 역할을 했던 거다. 근데 요즘은 ‘AI 칩’이라는 게 따로 나오기 시작했다. GPU랑 뭐가 다르냐고? 생각보다 차이가 크다.

GPU가 AI에 쓰인 이유, 그리고 한계

GPU는 원래 게임 그래픽을 위한 칩이다. 화면 픽셀 수백만 개를 동시에 계산해야 하니까 수천 개의 작은 코어를 병렬로 돌리는 구조로 만들어졌다. 그게 마침 신경망 훈련에 딱 맞았다. 행렬 곱셈 같은 연산이 쏟아지는데, 병렬 처리가 강점인 GPU가 자연스럽게 AI 혁명의 도구가 됐다.

• 병렬 연산 능력: 수천 개의 코어가 동시에 행렬 곱셈 같은 AI 연산을 처리한다.
• 프로그래밍 유연성: 엔비디아의 CUDA 플랫폼 덕에 AI 연구자들이 다양한 모델을 실험하고 개발하기 훨씬 수월했다.

근데 모델이 커지면서 문제가 터졌다. 수백억, 수천억 개 매개변수짜리 초거대 모델들이 등장하자 GPU의 구조적 약점이 드러났다. GPU는 연산 코어와 메모리가 분리돼 있다. HBM 같은 외부 메모리에서 데이터를 계속 꺼내다 쓰다 보니 전송 병목(memory bottleneck)이 생긴다. 모델이 클수록 이 병목이 커지는 구조다. 여러 GPU를 묶어 쓰는 분산 훈련으로 해결해보려 했더니, 이번엔 GPU 간 통신 오버헤드가 새 병목으로 등장했다. 막으면 막을수록 나오는 형국이었다.

AI 칩(AI Accelerator)이란 — 병렬 처리의 다음 단계

AI 칩, 정식 명칭으로 AI 가속기(AI Accelerator)는 신경망 추론과 훈련에 특화된 하드웨어다. GPU처럼 병렬 처리 기반이지만, 설계 방향 자체가 다르다. AI 연산에 필요 없는 범용 기능을 빼고, AI 모델의 핵심 연산인 MAC(Multiply-Accumulate, 행렬 곱셈과 덧셈)에 자원을 몰아넣는 방식이다.

• MAC 연산 최적화: AI 모델 연산의 90% 이상을 차지하는 MAC 연산을 빠르고 전력 효율적으로 처리하도록 설계된다.
• 온칩(On-chip) 메모리: 외부 메모리 접근을 줄이기 위해 칩 내부에 대용량 고속 메모리를 통합한다. 데이터 전송 병목을 줄이는 핵심 설계다.
• 저정밀도 연산 지원: FP16, BF16, INT8 같은 낮은 정밀도 연산에 최적화돼, 같은 자원으로 더 많은 연산을 처리한다.

결과적으로 AI 칩은 특정 AI 작업에서 GPU보다 성능과 전력 효율이 높을 여지가 있다. 클라우드 데이터센터나 스마트폰 같은 엣지 디바이스 모두에서 AI 서비스를 더 싸게, 더 빠르게 돌리는 데 핵심 역할을 한다.

GPU와 AI 칩, 설계 철학의 결정적 차이 3가지

어디서 갈리는지를 3가지로 짚어보면 이렇다.

1. 범용 vs 특수 아키텍처
   GPU는 그래픽, 과학 연산, AI까지 다 소화하는 범용 설계다. 스트리밍 멀티프로세서(SM)와 범용 레지스터, 유연한 캐시 구조가 특징이다. AI 칩은 처음부터 신경망 연산 전용이다. 텐서 코어(Tensor Core)나 행렬 가속기 같은 전용 연산 유닛을 대규모로 탑재하고, AI 데이터 흐름에 맞춘 파이프라인을 쓴다. 구글의 TPU(Tensor Processing Unit)가 대표 사례인데, 텐서 연산에 특화된 시스톨릭 어레이(Systolic Array) 구조로 연산 밀도가 압도적이다.

2. 메모리 계층 구조의 차이
   GPU도 HBM(고대역폭 메모리)을 쓰지만, 연산 코어와 메모리가 물리적으로 분리돼 있다. 모델 파라미터를 메모리에서 코어로, 다시 코어에서 메모리로 왔다 갔다 하다 보면 병목이 생긴다. AI 칩은 이걸 해결하려고 온칩 메모리를 크게 키우거나, 연산 유닛과 메모리를 최대한 붙여 배치한다. Cerebras의 웨이퍼 스케일 엔진(WSE)처럼 칩 자체가 하나의 거대한 연산·메모리 집합체가 되면, 외부 메모리 접근 없이 방대한 연산을 처리할 수 있다.

3. 프로그래밍 유연성 vs 효율
   GPU는 CUDA 덕에 다양한 알고리즘을 자유롭게 구현할 수 있다. 연구 개발 단계에서 강점이다. AI 칩은 특정 연산에 묶인 만큼 유연성이 상대적으로 낮다. 대신 모델이 확정되면 전용 컴파일러와 런타임으로 하드웨어 효율을 최대한 쥐어짤 수 있다. 대규모 AI 서비스를 운영할 때 전력 소모와 비용을 줄이는 결정적 요소다.

초거대 모델 시대, AI 칩이 필요해진 배경

GPT-4 같은 수천억 매개변수 모델은 단일 GPU 메모리에 올라가지도 않는다. 여러 GPU를 묶어 분산 훈련을 돌려야 하는데, GPU 수가 늘수록 칩 간 통신 비용도 눈덩이처럼 불어난다. 훈련 시간과 전기요금이 그냥 천문학적이다.

AI 칩은 이 문제를 정면으로 겨냥한다. 칩 하나에 더 많은 매개변수를 담고, 내부 고속 통신망으로 데이터 이동 병목을 줄이고, 전력 효율을 극대화하는 방향으로 진화 중이다. AWS나 구글 같은 클라우드 업체들이 AI 인프라를 구축할 때 가장 챙기는 조건들이기도 하다.

Cerebras WSE: AI 칩이 어디까지 갈 수 있는지 보여주는 사례

Cerebras Systems는 좀 극단적인 접근을 택했다. 웨이퍼 스케일 엔진(Wafer-Scale Engine, WSE)이다. 보통 반도체는 하나의 웨이퍼에서 여러 칩을 잘라내 만드는데, WSE는 웨이퍼 전체를 칩 하나로 만든다. 발상 자체가 다르다.

• 규모가 남다르다: WSE-2 기준 트랜지스터 2조 6천억 개, AI 코어 85만 개. 일반 GPU 대비 수십 배 규모다.
• 온칩 통신: 웨이퍼 전체가 칩이니까 코어 간 통신이 칩 내부에서 끝난다. 외부 메모리 접근이나 칩 간 지연(latency)이 거의 없어서, 초거대 모델 병렬 훈련 효율이 극적으로 올라간다.
• 데이터센터 효율: 공간, 전력, 냉각 비용 모두 줄어든다. AWS나 OpenAI 같은 곳이 관심을 보이는 이유가 여기 있다.

WSE가 AI 칩의 정답이라는 뜻은 아니다. 하지만 컴퓨팅 한계를 어떤 방식으로 돌파할 수 있는지 보여주는 대표적인 사례인 건 맞다. 초거대 AI 모델 시대에 하드웨어 혁신이 어디까지 갈 수 있는지를 상징적으로 보여준다.

AI 칩 시장, 지금 어디까지 왔나

엔비디아가 GPU 시장을 장악하고 있는 건 사실이다. 근데 AI 칩 판에서는 이야기가 좀 다르다. 구글은 TPU를 클라우드에 직접 붙여 쓰면서 선두권을 형성했고, 인텔은 하바나 랩스(Habana Labs) 인수 후 가우디(Gaudi) AI 가속기로 쫓아오는 중이다. 스타트업 쪽에서도 Cerebras, Graphcore, Groq 등이 각자의 독특한 아키텍처로 도전장을 내밀었다.

앞으로는 더 세분화될 것 같다. 클라우드 데이터센터용 고성능 훈련 칩, 스마트폰·자율주행차용 저전력 추론 칩, LLM 전용 칩처럼 용도별로 특화된 제품들이 쏟아질 거다. 엔비디아도 가만히 있진 않는다. H100 같은 최신 GPU에 AI 전용 텐서 코어를 대폭 강화하며 AI 칩 기능을 흡수하는 방식으로 대응하고 있다. 결국 이 시장은 단순한 ‘엔비디아 대안 찾기’를 넘어서, 특정 AI 워크로드에 최적화된 하드웨어 솔루션을 찾는 싸움으로 진화할 셈이다.

자주 나오는 질문들 — 솔직하게 정리

Q1: AI 칩이 결국 GPU를 완전히 대체할까?
아직은 아니다. AI 칩은 특정 AI 연산에서 더 효율적이지만, GPU는 범용 컴퓨팅에서 여전히 강하다. 초기 연구 개발, 알고리즘 실험처럼 유연성이 중요한 상황에서는 GPU의 강세가 이어진다. AI 칩은 대규모 모델 훈련이나 최적화된 추론 서비스에서 빠르게 자리를 넓혀가는 중이다. 대체보다는 역할 분담에 가깝다고 보는 편이 현실적이다.

Q2: AI 칩 도입할 때 뭘 봐야 하나?
핵심은 네 가지다. 훈련할 모델 크기, 추론 지연 시간(latency) 요구사항, 전력 예산, 기존 소프트웨어 스택과의 호환성. AI 칩은 전용 소프트웨어 스택과 개발 환경을 요구하는 경우가 많아서, 기존 GPU 기반 환경에서 갈아탈 때 학습 곡선이 존재한다는 점도 현실적으로 감안해야 한다.

Q3: 일반 사용자도 AI 칩을 경험할 수 있나?
이미 하고 있다. 스마트폰, 자율주행차, IoT 기기에는 저전력 AI 칩이 이미 들어가 있다. 이미지 인식, 음성 처리가 기기 자체에서 돌아가는 게 다 AI 칩 덕이다. 클라우드에서 돌리던 AI가 기기 안으로 내려오는 흐름, 이미 진행 중이다.

출처: TechCrunch