엔비디아 GPU 한 장을 뜯어보면 소재만 수십 종이 들어가 있다. AI 성능을 알고리즘이나 GPU 개수로만 재단하는 경우가 많은데, 실제로 성능의 천장을 정하는 건 메모리 대역폭, 방열 소재, 패키징 기술 같은 하드웨어 밑바탕이다. 아래 6가지 키워드만 잡고 있어도 AI 반도체 관련 기사 절반은 술술 읽힌다.
HBM, 왜 AI 칩의 심장이라 불리나
HBM은 D램을 수직으로 쌓아 데이터 전송 속도를 극대화한 메모리다. 기존 GDDR은 GPU 옆에 넓게 펼쳐놓는 구조라 대역폭에 한계가 뚜렷하다. HBM은 다르다. 실리콘관통전극(TSV)으로 칩을 층층이 연결해서, 같은 면적에서도 훨씬 많은 데이터를 주고받는다.
- HBM3E: 현재 엔비디아 H200, B200에 탑재되는 최신 규격
- 대역폭: 단일 스택 기준 초당 1TB 이상 전송
- 공급사: SK하이닉스, 삼성전자, 마이크론 3파전
AI 모델이 커질수록 연산량보다 메모리 병목이 먼저 발목을 잡는다. 그래서 GPU 스펙표를 볼 때 코어 개수보다 HBM 용량과 세대부터 확인하는 게 실전에 가깝다.
CoWoS, 칩을 쌓아 올리는 패키징 기술
TSMC의 CoWoS(Chip on Wafer on Substrate)는 GPU 다이와 HBM을 하나의 기판 위에 초정밀하게 붙이는 첨단 패키징 공정이다. 미세공정 경쟁이 물리적 한계에 부딪히면서, 트랜지스터를 더 작게 깎는 것보다 여러 칩을 얼마나 촘촘히 이어 붙이느냐가 이제 성능을 가른다.
- CoWoS-S: 실리콘 인터포저 방식, 초기 표준
- CoWoS-L: 국소 실리콘 브리지 방식, 더 큰 면적 지원
- 병목 현상: 2024~2025년 CoWoS 생산능력 부족이 GPU 공급난의 핵심 원인이었다
GAA 트랜지스터, 전력 효율의 열쇠
3나노 이하 공정부터는 기존 핀펫(FinFET) 대신 GAA(Gate-All-Around) 트랜지스터가 표준으로 자리 잡는다. 게이트가 채널을 사방에서 감싸는 구조라 누설전류가 줄고 전력 효율이 올라간다. 삼성전자가 3나노에서 먼저 도입했고, TSMC는 2나노부터 GAA 계열을 적용한다. AI 데이터센터의 전력 소비가 국가 전력망 수준으로 커지는 지금, 트랜지스터 하나의 효율 개선이 데이터센터 전체 전기요금과 바로 이어지는 구조다.
액체 냉각과 열전도 소재, 데이터센터의 숨은 승부수
고성능 GPU 랙 하나가 먹는 전력은 수십 킬로와트에 달한다. 공랭식으로는 이 열을 다 못 뺀다. 그래서 액침 냉각(immersion cooling)과 직접 액체 냉각(DLC)이 빠르게 번지는 중이다.
- 열전도 페이스트: 칩과 히트싱크 사이 열저항을 낮추는 소재
- 2상 냉각액: 끓는점이 낮은 특수 유체로 기화열을 이용해 냉각
- 냉각판 재질: 구리에서 다이아몬드 복합소재로 전환 중
냉각 소재 선택 하나로 서버 랙 밀도가 2~3배까지 벌어진다. 그러니 데이터센터 운영사들이 반도체 못지않게 냉각 기술에 돈을 쏟는 것도 당연한 일이다.
SiC·GaN 전력반도체가 빠지면 안 되는 이유
AI 서버는 벽면에서 들어온 교류 전기를 GPU가 쓸 수 있는 저전압 직류로 여러 단계에 걸쳐 바꿔야 한다. 이 과정에서 탄화규소(SiC)와 질화갈륨(GaN) 기반 전력반도체가 기존 실리콘 소자보다 전력 손실을 확 줄여준다. 전기차 인버터에 쓰이던 소재가 이제 AI 데이터센터 전원 공급 장치로 영역을 넓히는 셈이다.
실리콘 포토닉스, 다음 세대 연결 기술
GPU 수만 개를 하나의 클러스터로 묶으려면 칩 간 통신 속도가 결국 병목이 된다. 실리콘 포토닉스는 전기 신호 대신 빛으로 데이터를 보내 대역폭을 늘리고 발열도 줄이는 기술이다. 엔비디아와 브로드컴은 관련 스위치·트랜시버 제품을 이미 로드맵에 올려놨다. 장거리 구간뿐 아니라 랙 내부 연결까지 광통신으로 바꾸려는 흐름이 지금 진행 중이다.
칩 설계사 하나만 봐서는 절반짜리 그림
AI 반도체 경쟁력을 GPU 설계 회사 하나로만 판단하면 딱 절반만 보는 셈이다. HBM 수율, CoWoS 생산능력, 냉각 소재 공급, 전력반도체 확보까지 전체 공급망이 맞물려야 실제 성능이 나온다. 반도체 관련주나 AI 인프라 투자를 검토할 때도 GPU 제조사뿐 아니라 소재·장비·패키징 기업까지 같이 짚어봐야 그림이 제대로 보인다.
AI리서치팀
Home-In-One AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.