[태그:] 반도체

데이터센터 랙을 열면 엔비디아 GPU가 빽빽하다. 이제 이 풍경이 너무 익숙해졌다. AI 붐이 터지면서 H100 하나 구하려고 수개월을 기다린다는 얘기가 나올 만큼, 엔비디아는 AI 인프라의 기본값이 됐다. 단순한 그래픽 카드 회사가 아니다. AI 생태계의 표준 자체를 쥐고 있는 기업이다. 근데 이 독점적 위치가 영원할까? 미중 기술 전쟁, 경쟁사들의 반격, 공급망 리스크까지 — 엔비디아 앞에 놓인 변수는 생각보다 복잡하다.

GPU 하나가 생태계 전체를 삼킨 방법

엔비디아가 AI 시장을 장악한 건 GPU 성능 때문만이 아니다. 핵심은 CUDA(Compute Unified Device Architecture)다. 2006년에 처음 공개된 이 병렬 컴퓨팅 플랫폼이 AI 연구자들의 표준 개발 환경으로 자리 잡으면서, 엔비디아 GPU가 없으면 AI 개발 자체가 불편해지는 구조가 만들어졌다. 락인(Lock-in)이라고 부르기도 하는데, 솔직히 이건 전략이라기보다는 생태계가 자연스럽게 굳어진 결과다.

• 하드웨어 우위: H100, GH200은 단순히 빠른 게 아니라 연산당 전력 소비 자체가 다르다. 경쟁 칩 대비 에너지 효율에서 아직 격차가 크다.
• 소프트웨어 생태계: CUDA 기반 라이브러리와 프레임워크가 수천 개에 달한다. 이걸 AMD나 인텔 칩으로 그대로 옮기는 게 얼마나 고통스러운 일인지, AI 개발자들은 잘 안다.
• 데이터센터 표준: AWS, 구글 클라우드, 마이크로소프트 애저 모두 엔비디아를 기본 AI 인프라로 쓴다. 점유율 80% 이상이라는 숫자가 괜히 나온 게 아니다.

ChatGPT를 학습시킨 것도, 자율주행 모델을 훈련시키는 것도, 로봇 팔에 AI를 심는 것도 거의 다 엔비디아 위에서 돌아간다. 이쯤 되면 인프라가 아니라 공기 같은 존재다.

수출 통제라는 폭탄, 그리고 엔비디아의 딜레마

미국 상무부가 고성능 AI 칩의 중국 수출을 막기 시작한 건 2022년부터다. A100, H100처럼 특정 연산 성능을 넘는 칩은 중국으로 팔 수 없게 됐다. 표면적인 이유는 군사 전용 가능성. 중국 AI 기업들이 이 칩으로 군사 시스템을 개발할 수 있다는 우려였다.

• 수출 제한 대상: A100, H100을 포함한 첨단 AI 가속기들이 규제 목록에 올랐다. 엔비디아 매출에서 중국이 차지하는 비중은 규제 전까지 20%를 웃돌았다.
• 기술 접근 차단: 바이두, 화웨이, 알리바바 막론하고 중국 빅테크들은 최고급 GPU를 더 이상 공식 루트로 구매하기 어렵게 됐다.
• 사업 전략 전면 수정: 엔비디아 입장에선 매출 규모가 상당한 시장 하나를 사실상 잃는 상황이 됐다. 대응이 불가피했다.

이게 단순히 엔비디아 매출 문제로 끝나면 좋겠지만, 현실은 더 복잡하다. 글로벌 AI 기술 발전 속도와 반도체 공급망 재편에까지 파급효과가 번진다. 규제를 준수하면서 사업을 유지해야 하는, 꽤 까다로운 줄타기 앞에 서게 됐다.

중국을 못 버리는 이유

규제가 강화됐다고 중국 시장을 포기하기엔, 그 규모가 너무 크다. 중국은 지금 세계에서 AI 투자가 가장 뜨거운 나라 중 하나다. 정부 주도 AI 프로젝트만 해도 수십 개고, 민간 AI 스타트업 투자도 엄청나다. 엔비디아가 이 시장을 완전히 놓치면? 그 자리를 화웨이나 중국 로컬 칩이 채울 가능성이 높다.

• 규제 맞춤형 칩 개발: 수출 통제 기준 아래에 맞춘 저사양 커스텀 칩을 내놨다. HGX H20, L20, L2 같은 중국 전용 제품들이다. H100보다 성능은 낮지만, 그래도 팔 수 있는 게 낫다는 판단이다.
• 현지 파트너십 유지: 중국 내 클라우드 기업, AI 스타트업과의 협력 관계를 끊지 않고 유지하고 있다. 규제가 다시 바뀔 수도 있으니 관계를 살려둬야 한다는 계산도 깔려 있다.
• 장기 포석: 단기 매출보다 시장 존재감을 유지하는 쪽에 무게를 두는 전략이다. 중국이 언젠가 다시 열릴 때를 대비하는 셈이다.

규제와 시장 사이에서 줄타기하는 게 쉬운 일은 아니다. 중국에서 어떤 위치를 유지하느냐가 엔비디아의 글로벌 리더십과 직결된다는 점은 분명하다.

AMD, 구글, 아마존까지 — 다들 덤비고 있다

엔비디아 독점이 오래가긴 어려울 것 같다. 사방에서 도전자들이 나타나고 있다.

• AMD의 반격: MI300 시리즈로 H100에 직접 도전장을 내밀었다. 가격 대비 성능으로 시장을 파고드는 전략인데, 메타나 마이크로소프트 같은 곳에서 MI300을 테스트하는 사례가 늘고 있다.
• 클라우드 자체 칩: AWS 트레이니움(Trainium)과 인퍼런시아(Inferentia), 구글 TPU(Tensor Processing Unit), 마이크로소프트 마이아(Maia). 엔비디아의 최대 고객들이 직접 칩을 만들기 시작했다. 엔비디아 의존도를 줄이고 단가를 낮추겠다는 의도다. 이건 꽤 위협적인 그림이다.
• 오픈소스 하드웨어: RISC-V 기반 맞춤형 칩 설계가 현실화되고 있다. AI 모델 경량화 기술이 발전하면서 고성능 GPU가 무조건 필요한 시대가 끝날 수도 있다는 얘기도 나온다.
• 차세대 컴퓨팅: 광학 컴퓨팅, 양자 컴퓨팅이 상용화 단계에 접어들면 GPU 중심 아키텍처 자체가 흔들릴 수 있다. 아직은 먼 얘기지만, 무시할 수 없는 변수다.

기술적 우위를 유지하는 게 엔비디아 생존을 좌우할 핵심 조건이다. 지금은 압도적으로 앞서 있지만, 경쟁 구도는 빠르게 달라지고 있다.

블랙웰 다음엔 루빈, 그 다음엔?

엔비디아는 지금의 위치에 멈춰 있지 않다. 다음 세대 기술 로드맵을 착실하게 쌓아가고 있다.

• 아키텍처 순차 출시: 호퍼(Hopper) → 블랙웰(Blackwell) → 루빈(Rubin) 순으로 차세대 GPU 아키텍처를 내놓을 계획이다. 단순히 빨라지는 게 아니라 칩 간 통신 속도, 더 복잡한 AI 모델 처리 효율까지 달라진다.
• 통합 플랫폼 전략: GPU만 파는 게 아니다. NVLink와 InfiniBand 기반의 초고속 네트워킹, CUDA와 cuDNN 같은 소프트웨어까지 묶어 AI 플랫폼 솔루션으로 팔겠다는 그림이다. 하드웨어만 팔면 대체당할 수 있지만, 플랫폼 전체를 묶어두면 얘기가 다르다.
• 추론(Inference) 시장 선점: AI 학습이 끝나면 이제 실제로 쓰는 게 남는다. 추론 단계 전용 칩과 소프트웨어 최적화에 공을 들이고 있다. 이 시장이 학습 시장보다 훨씬 빠르게 커지는 중이다.
• 신규 산업 공략: NVIDIA DRIVE(자율주행), NVIDIA Isaac(로봇공학), NVIDIA Omniverse(디지털 트윈·산업 메타버스). AI가 들어갈 수 있는 모든 분야에 발을 걸쳐두겠다는 전략이다.

하드웨어와 소프트웨어를 동시에 쥐고 가는 이 통합 접근 방식은, 경쟁사가 GPU 성능을 따라잡더라도 생태계 자체를 대체하기 어렵게 만드는 구조다.

TSMC 하나에 목 매는 구조의 위험

엔비디아의 약점 중 가장 구조적인 문제는 공급망이다. 최첨단 반도체 생산을 TSMC에 거의 전적으로 의존하고 있는데, 이게 양날의 검이다.

• 파운드리 집중 의존: TSMC의 생산 라인에 문제가 생기면 엔비디아 공급도 바로 막힌다. 2020~2021년 반도체 대란 때 이미 경험한 일이다.
• 대만 해협 리스크: 미중 갈등이 고조될수록 TSMC의 주요 생산 기지가 있는 대만이 지정학적으로 예민해진다. 최악의 시나리오가 현실화되면 글로벌 반도체 공급망 전체가 뒤흔들린다.
• 다변화 모색 중: 엔비디아도 이 리스크를 모르지 않는다. 다른 파운드리 업체와의 협력 가능성 검토, 특정 부품의 이원화 등 공급망 분산을 위한 움직임이 있다. 하지만 아직 TSMC 의존 구조를 완전히 벗어나기는 어렵다.

아무리 좋은 칩 설계를 해도 만들지 못하면 의미가 없다. 공급망의 안정성이 엔비디아 미래 경쟁력의 절반을 결정한다고 해도 과언이 아니다.

결국 살아남는 쪽이 이기는 게임

미중 기술 패권 경쟁 한가운데서 엔비디아가 지속 성장을 이어가려면, 기술력 하나만으로는 부족하다. 정치, 외교, 공급망, 시장 다각화까지 동시에 챙겨야 한다.

• 정책 공조: 미국 정부 수출 통제 정책을 면밀히 따르면서 당국과 긴밀하게 소통하는 게 기본이다. 엔비디아가 ‘안보 위협’으로 낙인찍히는 순간 사업 전체가 흔들린다.
• 기술 투자 지속: 경쟁사가 따라오고 규제가 강화되는 상황에서도 GPU 아키텍처 개발과 소프트웨어 생태계 확장을 멈추지 않는다. 이게 엔비디아의 핵심 경쟁력이다.
• 시장 다각화: 중국 의존도를 줄이고 인도, 유럽, 중동 AI 시장을 공략하는 동시에 의료, 금융, 제조업 분야 솔루션을 넓힌다. 한 시장에 흔들려도 버티는 구조를 만드는 작업이다.
• 플랫폼 기업 전환: 하드웨어 판매에서 AI 개발·배포 통합 플랫폼 서비스로 무게중심을 옮긴다. 소프트웨어 구독과 클라우드 기반 AI 서비스로 수익 구조를 다양하게 가져가면, 칩 하나 못 팔더라도 버틸 여지가 생긴다.

엔비디아는 지금 이 업계에서 가장 강력한 패를 쥐고 있다. 근데 패가 좋다고 게임을 이기는 건 아니다. 지정학적 압박과 사방에서 치고 들어오는 경쟁 속에서 어떻게 움직이느냐가 앞으로의 10년을 결정할 것이다.

출처: Reddit r/technology

챗GPT가 터지기 전까지만 해도 GPU가 AI의 전부인 줄 알았다. 엔비디아 주가가 왜 저렇게 오르나 했더니, AI 모델 훈련에 GPU가 핵심 역할을 했던 거다. 근데 요즘은 ‘AI 칩’이라는 게 따로 나오기 시작했다. GPU랑 뭐가 다르냐고? 생각보다 차이가 크다.

GPU가 AI에 쓰인 이유, 그리고 한계

GPU는 원래 게임 그래픽을 위한 칩이다. 화면 픽셀 수백만 개를 동시에 계산해야 하니까 수천 개의 작은 코어를 병렬로 돌리는 구조로 만들어졌다. 그게 마침 신경망 훈련에 딱 맞았다. 행렬 곱셈 같은 연산이 쏟아지는데, 병렬 처리가 강점인 GPU가 자연스럽게 AI 혁명의 도구가 됐다.

• 병렬 연산 능력: 수천 개의 코어가 동시에 행렬 곱셈 같은 AI 연산을 처리한다.
• 프로그래밍 유연성: 엔비디아의 CUDA 플랫폼 덕에 AI 연구자들이 다양한 모델을 실험하고 개발하기 훨씬 수월했다.

근데 모델이 커지면서 문제가 터졌다. 수백억, 수천억 개 매개변수짜리 초거대 모델들이 등장하자 GPU의 구조적 약점이 드러났다. GPU는 연산 코어와 메모리가 분리돼 있다. HBM 같은 외부 메모리에서 데이터를 계속 꺼내다 쓰다 보니 전송 병목(memory bottleneck)이 생긴다. 모델이 클수록 이 병목이 커지는 구조다. 여러 GPU를 묶어 쓰는 분산 훈련으로 해결해보려 했더니, 이번엔 GPU 간 통신 오버헤드가 새 병목으로 등장했다. 막으면 막을수록 나오는 형국이었다.

AI 칩(AI Accelerator)이란 — 병렬 처리의 다음 단계

AI 칩, 정식 명칭으로 AI 가속기(AI Accelerator)는 신경망 추론과 훈련에 특화된 하드웨어다. GPU처럼 병렬 처리 기반이지만, 설계 방향 자체가 다르다. AI 연산에 필요 없는 범용 기능을 빼고, AI 모델의 핵심 연산인 MAC(Multiply-Accumulate, 행렬 곱셈과 덧셈)에 자원을 몰아넣는 방식이다.

• MAC 연산 최적화: AI 모델 연산의 90% 이상을 차지하는 MAC 연산을 빠르고 전력 효율적으로 처리하도록 설계된다.
• 온칩(On-chip) 메모리: 외부 메모리 접근을 줄이기 위해 칩 내부에 대용량 고속 메모리를 통합한다. 데이터 전송 병목을 줄이는 핵심 설계다.
• 저정밀도 연산 지원: FP16, BF16, INT8 같은 낮은 정밀도 연산에 최적화돼, 같은 자원으로 더 많은 연산을 처리한다.

결과적으로 AI 칩은 특정 AI 작업에서 GPU보다 성능과 전력 효율이 높을 여지가 있다. 클라우드 데이터센터나 스마트폰 같은 엣지 디바이스 모두에서 AI 서비스를 더 싸게, 더 빠르게 돌리는 데 핵심 역할을 한다.

GPU와 AI 칩, 설계 철학의 결정적 차이 3가지

어디서 갈리는지를 3가지로 짚어보면 이렇다.

1. 범용 vs 특수 아키텍처
   GPU는 그래픽, 과학 연산, AI까지 다 소화하는 범용 설계다. 스트리밍 멀티프로세서(SM)와 범용 레지스터, 유연한 캐시 구조가 특징이다. AI 칩은 처음부터 신경망 연산 전용이다. 텐서 코어(Tensor Core)나 행렬 가속기 같은 전용 연산 유닛을 대규모로 탑재하고, AI 데이터 흐름에 맞춘 파이프라인을 쓴다. 구글의 TPU(Tensor Processing Unit)가 대표 사례인데, 텐서 연산에 특화된 시스톨릭 어레이(Systolic Array) 구조로 연산 밀도가 압도적이다.

2. 메모리 계층 구조의 차이
   GPU도 HBM(고대역폭 메모리)을 쓰지만, 연산 코어와 메모리가 물리적으로 분리돼 있다. 모델 파라미터를 메모리에서 코어로, 다시 코어에서 메모리로 왔다 갔다 하다 보면 병목이 생긴다. AI 칩은 이걸 해결하려고 온칩 메모리를 크게 키우거나, 연산 유닛과 메모리를 최대한 붙여 배치한다. Cerebras의 웨이퍼 스케일 엔진(WSE)처럼 칩 자체가 하나의 거대한 연산·메모리 집합체가 되면, 외부 메모리 접근 없이 방대한 연산을 처리할 수 있다.

3. 프로그래밍 유연성 vs 효율
   GPU는 CUDA 덕에 다양한 알고리즘을 자유롭게 구현할 수 있다. 연구 개발 단계에서 강점이다. AI 칩은 특정 연산에 묶인 만큼 유연성이 상대적으로 낮다. 대신 모델이 확정되면 전용 컴파일러와 런타임으로 하드웨어 효율을 최대한 쥐어짤 수 있다. 대규모 AI 서비스를 운영할 때 전력 소모와 비용을 줄이는 결정적 요소다.

초거대 모델 시대, AI 칩이 필요해진 배경

GPT-4 같은 수천억 매개변수 모델은 단일 GPU 메모리에 올라가지도 않는다. 여러 GPU를 묶어 분산 훈련을 돌려야 하는데, GPU 수가 늘수록 칩 간 통신 비용도 눈덩이처럼 불어난다. 훈련 시간과 전기요금이 그냥 천문학적이다.

AI 칩은 이 문제를 정면으로 겨냥한다. 칩 하나에 더 많은 매개변수를 담고, 내부 고속 통신망으로 데이터 이동 병목을 줄이고, 전력 효율을 극대화하는 방향으로 진화 중이다. AWS나 구글 같은 클라우드 업체들이 AI 인프라를 구축할 때 가장 챙기는 조건들이기도 하다.

Cerebras WSE: AI 칩이 어디까지 갈 수 있는지 보여주는 사례

Cerebras Systems는 좀 극단적인 접근을 택했다. 웨이퍼 스케일 엔진(Wafer-Scale Engine, WSE)이다. 보통 반도체는 하나의 웨이퍼에서 여러 칩을 잘라내 만드는데, WSE는 웨이퍼 전체를 칩 하나로 만든다. 발상 자체가 다르다.

• 규모가 남다르다: WSE-2 기준 트랜지스터 2조 6천억 개, AI 코어 85만 개. 일반 GPU 대비 수십 배 규모다.
• 온칩 통신: 웨이퍼 전체가 칩이니까 코어 간 통신이 칩 내부에서 끝난다. 외부 메모리 접근이나 칩 간 지연(latency)이 거의 없어서, 초거대 모델 병렬 훈련 효율이 극적으로 올라간다.
• 데이터센터 효율: 공간, 전력, 냉각 비용 모두 줄어든다. AWS나 OpenAI 같은 곳이 관심을 보이는 이유가 여기 있다.

WSE가 AI 칩의 정답이라는 뜻은 아니다. 하지만 컴퓨팅 한계를 어떤 방식으로 돌파할 수 있는지 보여주는 대표적인 사례인 건 맞다. 초거대 AI 모델 시대에 하드웨어 혁신이 어디까지 갈 수 있는지를 상징적으로 보여준다.

AI 칩 시장, 지금 어디까지 왔나

엔비디아가 GPU 시장을 장악하고 있는 건 사실이다. 근데 AI 칩 판에서는 이야기가 좀 다르다. 구글은 TPU를 클라우드에 직접 붙여 쓰면서 선두권을 형성했고, 인텔은 하바나 랩스(Habana Labs) 인수 후 가우디(Gaudi) AI 가속기로 쫓아오는 중이다. 스타트업 쪽에서도 Cerebras, Graphcore, Groq 등이 각자의 독특한 아키텍처로 도전장을 내밀었다.

앞으로는 더 세분화될 것 같다. 클라우드 데이터센터용 고성능 훈련 칩, 스마트폰·자율주행차용 저전력 추론 칩, LLM 전용 칩처럼 용도별로 특화된 제품들이 쏟아질 거다. 엔비디아도 가만히 있진 않는다. H100 같은 최신 GPU에 AI 전용 텐서 코어를 대폭 강화하며 AI 칩 기능을 흡수하는 방식으로 대응하고 있다. 결국 이 시장은 단순한 ‘엔비디아 대안 찾기’를 넘어서, 특정 AI 워크로드에 최적화된 하드웨어 솔루션을 찾는 싸움으로 진화할 셈이다.

자주 나오는 질문들 — 솔직하게 정리

Q1: AI 칩이 결국 GPU를 완전히 대체할까?
아직은 아니다. AI 칩은 특정 AI 연산에서 더 효율적이지만, GPU는 범용 컴퓨팅에서 여전히 강하다. 초기 연구 개발, 알고리즘 실험처럼 유연성이 중요한 상황에서는 GPU의 강세가 이어진다. AI 칩은 대규모 모델 훈련이나 최적화된 추론 서비스에서 빠르게 자리를 넓혀가는 중이다. 대체보다는 역할 분담에 가깝다고 보는 편이 현실적이다.

Q2: AI 칩 도입할 때 뭘 봐야 하나?
핵심은 네 가지다. 훈련할 모델 크기, 추론 지연 시간(latency) 요구사항, 전력 예산, 기존 소프트웨어 스택과의 호환성. AI 칩은 전용 소프트웨어 스택과 개발 환경을 요구하는 경우가 많아서, 기존 GPU 기반 환경에서 갈아탈 때 학습 곡선이 존재한다는 점도 현실적으로 감안해야 한다.

Q3: 일반 사용자도 AI 칩을 경험할 수 있나?
이미 하고 있다. 스마트폰, 자율주행차, IoT 기기에는 저전력 AI 칩이 이미 들어가 있다. 이미지 인식, 음성 처리가 기기 자체에서 돌아가는 게 다 AI 칩 덕이다. 클라우드에서 돌리던 AI가 기기 안으로 내려오는 흐름, 이미 진행 중이다.

출처: TechCrunch