AI 서비스 응답 속도는 소프트웨어만의 문제가 아니다. 데이터센터 어딘가에 꽂힌 반도체 한 장이 그 속도를 결정한다. 챗봇이 0.3초 만에 답하든, 이미지 생성에 5초가 걸리든—그 차이는 대부분 추론 칩에서 나온다.
학습과 추론, 다르게 봐야 한다
AI 시스템은 두 단계로 돌아간다. 학습(Training)은 수십억 개의 파라미터를 조정하면서 패턴을 익히는 과정이다. 엄청난 연산이 필요하고 시간도 오래 걸린다. GPU 클러스터를 몇 달씩 돌리는 게 이 단계다.
추론(Inference)은 그 결과물을 실제로 쓰는 단계다. 학습된 이미지 인식 모델이 새 사진을 보고 ‘고양이’라고 판별하는 것, 언어 모델이 다음 토큰을 예측하는 것—이게 전부 추론이다. 속도 요구가 완전히 다르다. 학습은 느려도 괜찮지만 추론은 수백만 사용자 요청을 실시간으로 받아쳐야 한다. 당연히 칩 설계 방향도 달라질 수밖에 없다.
추론 칩이 데이터센터를 좌우하는 이유
학습은 가끔, 추론은 매 순간이다. ChatGPT 하나만 봐도 학습은 몇 달에 한 번이지만 추론은 하루에 수천만 번 일어난다. 데이터센터 전체 AI 연산의 80% 이상이 추론에서 발생한다는 추정도 있다. 추론 칩 효율이 서비스 원가를 직접 좌우한다는 얘기다.
- 지연시간(Latency): 챗봇 응답, 음성 비서 명령 처리, 실시간 번역—모두 수백 밀리초 안에 끝나야 한다. 추론 칩은 이 타이밍에 맞게 설계된다.
- 전력 소비: 학습 칩이 연산 밀도를 극대화한다면, 추론 칩은 와트당 처리량(Throughput/Watt)을 최적화한다. 데이터센터 전력 비용이 운영비의 상당 부분을 차지하고, 몇 % 효율 차이가 수천만 달러 절감으로 이어지기 때문이다.
- 단가: H100 하나가 3만 달러 수준이다. 추론을 전부 이걸로 돌리면 경제성이 없다. 추론 전용 칩은 성능은 조금 낮더라도 비용을 대폭 낮출 수 있다.
- 확장성: 사용자가 늘면 칩 수도 늘려야 한다. 개별 칩의 가격과 전력 소비가 낮을수록 수백 장, 수천 장 배치가 현실적이 된다.
추론 칩은 AI가 실험실을 벗어나 실제 서비스로 돌아갈 수 있게 하는 인프라의 핵심이다. 이게 없으면 알고리즘이 아무리 뛰어나도 의미가 없다.
추론 칩이 갖춰야 할 설계 조건
학습과 추론은 요구 스펙이 다르다. 학습은 FP32, BF16 같은 높은 정밀도가 필요하지만 추론은 INT8, INT4로 내려가도 품질이 충분히 유지된다. 이 차이가 칩 설계 방향 전체를 바꾼다.
- 정수 연산(INT8/INT4) 처리량: 낮은 정밀도 연산을 빠르게 처리할수록 같은 면적에서 더 많은 추론을 소화한다. 엔비디아 텐서 코어가 이 방향으로 발전한 게 대표적이다.
- 메모리 대역폭: 모델 가중치를 얼마나 빨리 불러오느냐가 병목이 된다. HBM 메모리가 비싼 이유가 여기 있다. 대역폭이 좁으면 연산 코어가 놀게 된다.
- 병렬 처리: 수천 개의 연산 코어가 동시에 움직이는 구조. GPU의 기본 강점이자 ASIC 설계의 출발점이기도 하다.
- 전력 효율: 모바일에서 강점을 보이던 Arm 아키텍처가 데이터센터 추론 영역으로 넘어오는 이유다. 성능보다 효율을 우선하는 설계 철학이 데이터센터에서도 먹히기 시작했다.
- 유연성: 비전 모델, 언어 모델, 멀티모달 모델—다 요구 스펙이 다르다. 특정 연산만 잘하는 칩은 쓸 수 있는 범위가 좁아진다. 이건 좀 치명적인 약점이다.
이 다섯 가지를 얼마나 균형 있게 잡느냐가 칩의 실용성을 가른다. 어느 하나만 극단으로 밀면 대부분 상용화에서 막힌다.
지금 경쟁 구도가 어떻게 돌아가나
엔비디아가 학습과 추론 둘 다 장악한 것처럼 보이지만, 실상은 조금 다르다. 구글은 자체 개발한 TPU(Tensor Processing Unit)로 내부 추론 작업을 독자 운영하고 있다. AMD의 인스팅트(Instinct) 시리즈는 대형 클라우드 사업자들 사이에서 조용히 점유율을 늘리고 있고, 인텔의 가우디(Gaudi) 시리즈는 아직 시장 침투력이 약하지만 포기한 건 아니다.
변수는 Arm이다. 전 세계 모바일 칩 설계 대부분을 담당하는 이 회사가 AI 데이터센터용 CPU를 직접 개발하기 시작했다. The Verge 보도를 보면, Arm은 AGI를 겨냥한 자체 CPU 개발을 추진 중이며 메타와의 협력 가능성도 거론되고 있다. 저전력 효율이 강점인 Arm 아키텍처가 데이터센터 추론에서도 경쟁력을 갖출 경우, 지금의 GPU 중심 구도가 흔들릴 수도 있다. 한 회사 독식보다 여러 아키텍처가 경쟁하는 게 생태계 전체로는 건강하다—이건 맞는 말이다.
다음 수순은
자율주행, 스마트 팩토리, 의료 영상 분석. 이 산업들이 공통적으로 요구하는 게 초저지연 추론이다. 클라우드에 요청 보내고 기다릴 여유가 없는 환경이다. 그래서 엣지 추론, 즉 현장에 칩을 심어두고 즉각 처리하는 방향으로 수요가 이동하고 있다.
데이터센터 운영자들은 전력 효율이 더 좋고 더 싸고 더 빠른 추론 솔루션을 계속 찾을 거다. 지금은 엔비디아 H100이 기준점이지만 2~3년 안에 그 기준점 자체가 달라질 가능성이 있다. 경쟁이 빠르게 붙고 있다는 게 그 신호다.
사용자 경험은 결국 여기서 갈린다
챗봇 응답이 0.5초냐 2초냐, 이미지 생성이 3초냐 10초냐—이게 전부 추론 칩 성능에서 결정된다. 소프트웨어 최적화도 중요하지만, 하드웨어 한계를 코드로 넘기는 데는 물리적 한계가 있다. AI 서비스의 품질을 결정하는 게 알고리즘만이 아니라는 얘기다.
데이터센터 랙에 꽂힌 실리콘 한 장이 수억 명의 경험을 좌우한다. 이 시장에서 누가 더 효율적인 추론 칩을 내놓느냐가 앞으로 AI 인프라 판도를 바꿀 가장 현실적인 변수다. 소프트웨어 전쟁 이면에서 조용히 벌어지고 있는 하드웨어 전쟁이다.
출처: The Verge
테크가이드팀
Home-In-One 테크가이드팀은 IT 기기 비교, 소프트웨어 추천, 트러블슈팅 가이드 등 실용적인 기술 콘텐츠를 제작합니다. 초보자도 쉽게 따라할 수 있는 단계별 가이드를 지향합니다.