챗GPT가 터지기 전까지만 해도 GPU가 AI의 전부인 줄 알았다. 엔비디아 주가가 왜 저렇게 오르나 했더니, AI 모델 훈련에 GPU가 핵심 역할을 했던 거다. 근데 요즘은 ‘AI 칩’이라는 게 따로 나오기 시작했다. GPU랑 뭐가 다르냐고? 생각보다 차이가 크다.
GPU가 AI에 쓰인 이유, 그리고 한계
GPU는 원래 게임 그래픽을 위한 칩이다. 화면 픽셀 수백만 개를 동시에 계산해야 하니까 수천 개의 작은 코어를 병렬로 돌리는 구조로 만들어졌다. 그게 마침 신경망 훈련에 딱 맞았다. 행렬 곱셈 같은 연산이 쏟아지는데, 병렬 처리가 강점인 GPU가 자연스럽게 AI 혁명의 도구가 됐다.
- 병렬 연산 능력: 수천 개의 코어가 동시에 행렬 곱셈 같은 AI 연산을 처리한다.
- 프로그래밍 유연성: 엔비디아의 CUDA 플랫폼 덕에 AI 연구자들이 다양한 모델을 실험하고 개발하기 훨씬 수월했다.
근데 모델이 커지면서 문제가 터졌다. 수백억, 수천억 개 매개변수짜리 초거대 모델들이 등장하자 GPU의 구조적 약점이 드러났다. GPU는 연산 코어와 메모리가 분리돼 있다. HBM 같은 외부 메모리에서 데이터를 계속 꺼내다 쓰다 보니 전송 병목(memory bottleneck)이 생긴다. 모델이 클수록 이 병목이 커지는 구조다. 여러 GPU를 묶어 쓰는 분산 훈련으로 해결해보려 했더니, 이번엔 GPU 간 통신 오버헤드가 새 병목으로 등장했다. 막으면 막을수록 나오는 형국이었다.
AI 칩(AI Accelerator)이란 — 병렬 처리의 다음 단계
AI 칩, 정식 명칭으로 AI 가속기(AI Accelerator)는 신경망 추론과 훈련에 특화된 하드웨어다. GPU처럼 병렬 처리 기반이지만, 설계 방향 자체가 다르다. AI 연산에 필요 없는 범용 기능을 빼고, AI 모델의 핵심 연산인 MAC(Multiply-Accumulate, 행렬 곱셈과 덧셈)에 자원을 몰아넣는 방식이다.
- MAC 연산 최적화: AI 모델 연산의 90% 이상을 차지하는 MAC 연산을 빠르고 전력 효율적으로 처리하도록 설계된다.
- 온칩(On-chip) 메모리: 외부 메모리 접근을 줄이기 위해 칩 내부에 대용량 고속 메모리를 통합한다. 데이터 전송 병목을 줄이는 핵심 설계다.
- 저정밀도 연산 지원: FP16, BF16, INT8 같은 낮은 정밀도 연산에 최적화돼, 같은 자원으로 더 많은 연산을 처리한다.
결과적으로 AI 칩은 특정 AI 작업에서 GPU보다 성능과 전력 효율이 높을 여지가 있다. 클라우드 데이터센터나 스마트폰 같은 엣지 디바이스 모두에서 AI 서비스를 더 싸게, 더 빠르게 돌리는 데 핵심 역할을 한다.
GPU와 AI 칩, 설계 철학의 결정적 차이 3가지
어디서 갈리는지를 3가지로 짚어보면 이렇다.
-
범용 vs 특수 아키텍처
GPU는 그래픽, 과학 연산, AI까지 다 소화하는 범용 설계다. 스트리밍 멀티프로세서(SM)와 범용 레지스터, 유연한 캐시 구조가 특징이다. AI 칩은 처음부터 신경망 연산 전용이다. 텐서 코어(Tensor Core)나 행렬 가속기 같은 전용 연산 유닛을 대규모로 탑재하고, AI 데이터 흐름에 맞춘 파이프라인을 쓴다. 구글의 TPU(Tensor Processing Unit)가 대표 사례인데, 텐서 연산에 특화된 시스톨릭 어레이(Systolic Array) 구조로 연산 밀도가 압도적이다. -
메모리 계층 구조의 차이
GPU도 HBM(고대역폭 메모리)을 쓰지만, 연산 코어와 메모리가 물리적으로 분리돼 있다. 모델 파라미터를 메모리에서 코어로, 다시 코어에서 메모리로 왔다 갔다 하다 보면 병목이 생긴다. AI 칩은 이걸 해결하려고 온칩 메모리를 크게 키우거나, 연산 유닛과 메모리를 최대한 붙여 배치한다. Cerebras의 웨이퍼 스케일 엔진(WSE)처럼 칩 자체가 하나의 거대한 연산·메모리 집합체가 되면, 외부 메모리 접근 없이 방대한 연산을 처리할 수 있다. -
프로그래밍 유연성 vs 효율
GPU는 CUDA 덕에 다양한 알고리즘을 자유롭게 구현할 수 있다. 연구 개발 단계에서 강점이다. AI 칩은 특정 연산에 묶인 만큼 유연성이 상대적으로 낮다. 대신 모델이 확정되면 전용 컴파일러와 런타임으로 하드웨어 효율을 최대한 쥐어짤 수 있다. 대규모 AI 서비스를 운영할 때 전력 소모와 비용을 줄이는 결정적 요소다.
초거대 모델 시대, AI 칩이 필요해진 배경
GPT-4 같은 수천억 매개변수 모델은 단일 GPU 메모리에 올라가지도 않는다. 여러 GPU를 묶어 분산 훈련을 돌려야 하는데, GPU 수가 늘수록 칩 간 통신 비용도 눈덩이처럼 불어난다. 훈련 시간과 전기요금이 그냥 천문학적이다.
AI 칩은 이 문제를 정면으로 겨냥한다. 칩 하나에 더 많은 매개변수를 담고, 내부 고속 통신망으로 데이터 이동 병목을 줄이고, 전력 효율을 극대화하는 방향으로 진화 중이다. AWS나 구글 같은 클라우드 업체들이 AI 인프라를 구축할 때 가장 챙기는 조건들이기도 하다.
Cerebras WSE: AI 칩이 어디까지 갈 수 있는지 보여주는 사례
Cerebras Systems는 좀 극단적인 접근을 택했다. 웨이퍼 스케일 엔진(Wafer-Scale Engine, WSE)이다. 보통 반도체는 하나의 웨이퍼에서 여러 칩을 잘라내 만드는데, WSE는 웨이퍼 전체를 칩 하나로 만든다. 발상 자체가 다르다.
- 규모가 남다르다: WSE-2 기준 트랜지스터 2조 6천억 개, AI 코어 85만 개. 일반 GPU 대비 수십 배 규모다.
- 온칩 통신: 웨이퍼 전체가 칩이니까 코어 간 통신이 칩 내부에서 끝난다. 외부 메모리 접근이나 칩 간 지연(latency)이 거의 없어서, 초거대 모델 병렬 훈련 효율이 극적으로 올라간다.
- 데이터센터 효율: 공간, 전력, 냉각 비용 모두 줄어든다. AWS나 OpenAI 같은 곳이 관심을 보이는 이유가 여기 있다.
WSE가 AI 칩의 정답이라는 뜻은 아니다. 하지만 컴퓨팅 한계를 어떤 방식으로 돌파할 수 있는지 보여주는 대표적인 사례인 건 맞다. 초거대 AI 모델 시대에 하드웨어 혁신이 어디까지 갈 수 있는지를 상징적으로 보여준다.
AI 칩 시장, 지금 어디까지 왔나
엔비디아가 GPU 시장을 장악하고 있는 건 사실이다. 근데 AI 칩 판에서는 이야기가 좀 다르다. 구글은 TPU를 클라우드에 직접 붙여 쓰면서 선두권을 형성했고, 인텔은 하바나 랩스(Habana Labs) 인수 후 가우디(Gaudi) AI 가속기로 쫓아오는 중이다. 스타트업 쪽에서도 Cerebras, Graphcore, Groq 등이 각자의 독특한 아키텍처로 도전장을 내밀었다.
앞으로는 더 세분화될 것 같다. 클라우드 데이터센터용 고성능 훈련 칩, 스마트폰·자율주행차용 저전력 추론 칩, LLM 전용 칩처럼 용도별로 특화된 제품들이 쏟아질 거다. 엔비디아도 가만히 있진 않는다. H100 같은 최신 GPU에 AI 전용 텐서 코어를 대폭 강화하며 AI 칩 기능을 흡수하는 방식으로 대응하고 있다. 결국 이 시장은 단순한 ‘엔비디아 대안 찾기’를 넘어서, 특정 AI 워크로드에 최적화된 하드웨어 솔루션을 찾는 싸움으로 진화할 셈이다.
자주 나오는 질문들 — 솔직하게 정리
Q1: AI 칩이 결국 GPU를 완전히 대체할까?
아직은 아니다. AI 칩은 특정 AI 연산에서 더 효율적이지만, GPU는 범용 컴퓨팅에서 여전히 강하다. 초기 연구 개발, 알고리즘 실험처럼 유연성이 중요한 상황에서는 GPU의 강세가 이어진다. AI 칩은 대규모 모델 훈련이나 최적화된 추론 서비스에서 빠르게 자리를 넓혀가는 중이다. 대체보다는 역할 분담에 가깝다고 보는 편이 현실적이다.
Q2: AI 칩 도입할 때 뭘 봐야 하나?
핵심은 네 가지다. 훈련할 모델 크기, 추론 지연 시간(latency) 요구사항, 전력 예산, 기존 소프트웨어 스택과의 호환성. AI 칩은 전용 소프트웨어 스택과 개발 환경을 요구하는 경우가 많아서, 기존 GPU 기반 환경에서 갈아탈 때 학습 곡선이 존재한다는 점도 현실적으로 감안해야 한다.
Q3: 일반 사용자도 AI 칩을 경험할 수 있나?
이미 하고 있다. 스마트폰, 자율주행차, IoT 기기에는 저전력 AI 칩이 이미 들어가 있다. 이미지 인식, 음성 처리가 기기 자체에서 돌아가는 게 다 AI 칩 덕이다. 클라우드에서 돌리던 AI가 기기 안으로 내려오는 흐름, 이미 진행 중이다.
출처: TechCrunch
테크가이드팀
Home-In-One 테크가이드팀은 IT 기기 비교, 소프트웨어 추천, 트러블슈팅 가이드 등 실용적인 기술 콘텐츠를 제작합니다. 초보자도 쉽게 따라할 수 있는 단계별 가이드를 지향합니다.