실리콘밸리 투자자들 사이에서 요즘 돈이 이상한 데로 몰린다. AI 모델을 새로 학습시키는 회사가 아니라, 이미 만들어진 모델을 더 빠르고 싸게 돌리는 기술 하나로 스타트업에 투자금이 쏠리는 중이다. 오픈AI, 앤스로픽 연구자들이 개인 자격으로 이런 인퍼런스 전문 스타트업에 직접 투자하는 사례까지 나왔다. 그런데 ‘추론(Inference)’이 정확히 뭔지 아는 사람은 의외로 적다. 용어부터 짚고 넘어가자.
AI 추론(Inference), 정확히 뭘 뜻하나
추론은 학습을 마친 AI 모델에 새 입력값을 넣어 답을 뽑아내는 과정이다. ChatGPT에 질문을 치고 답을 받는 그 순간, 그게 추론이다. 모델이 데이터로 ‘배우는’ 단계가 아니라 배운 걸 ‘써먹는’ 단계. 이렇게 구분하면 헷갈릴 일이 없다.
- 학습(Training): 방대한 데이터를 넣어 모델의 가중치를 조정하는 과정
- 추론(Inference): 완성된 모델에 실제 요청을 넣어 결과를 얻는 과정
학습과 추론, 뭐가 다를까
학습은 한 번, 혹은 주기적으로 대규모 자원을 몰아넣고 끝내는 작업이다. 추론은 다르다. 서비스가 살아있는 한 사용자 요청이 들어올 때마다 계속 반복된다. 학습이 요리를 배우는 과정이라면, 추론은 매번 손님상에 요리를 내는 일에 가깝다. 손님이 한 명이든 백만 명이든 매번 새로 조리해야 한다. 규모가 커질수록 부담도 같이 커진다.
- 학습: 고성능 GPU 클러스터를 몇 주에서 몇 달 집중 사용
- 추론: 저지연·고효율 연산을 24시간 끊임없이 반복
추론이 갑자기 이렇게 중요해진 이유
2년 전만 해도 업계 관심은 온통 ‘더 큰 모델을 어떻게 학습시키느냐’에 쏠려 있었다. 그런데 챗봇, 코딩 도우미, 이미지 생성 서비스가 일상에 자리 잡으면서 판이 바뀌었다. 쓰는 사람이 늘어날수록 추론에 드는 비용이 학습 비용을 훌쩍 넘어서는 구조가 된 거다. 서비스 회사 입장에서는 모델을 한 번 잘 만드는 것보다, 그 모델을 얼마나 싸고 빠르게 돌리느냐가 수익성을 가른다.
추론 비용, 왜 이렇게 비쌀까
큰 언어모델은 답변 한 줄을 뽑을 때도 수십억 개 파라미터를 거쳐 계산한다. 사용자가 늘면 이 계산을 동시에, 그것도 지연 없이 처리해야 한다. GPU와 메모리를 그만큼 더 확보해야 한다는 뜻이다.
- 모델 크기가 클수록 응답 하나에 드는 연산량 증가
- 동시 접속자가 늘수록 서버 인프라 비용 폭증
- 응답 속도(지연시간)를 줄이려면 더 비싼 하드웨어 필요
그래서 대형 서비스 기업들도 모델을 가볍게 깎는 경량화, 여러 요청을 묶어 처리하는 배치 처리, 전용 반도체 같은 카드를 꺼내 든다.
추론 최적화 스타트업에 돈이 몰리는 배경
이런 배경 때문에 ‘추론만 전문적으로 빠르고 싸게 만들어주는’ 기술을 가진 스타트업이 투자자들 눈에 매력적으로 비친다. 거대 모델을 처음부터 학습시키려면 천문학적 자금이 든다. 반면 기존 모델의 추론 효율을 높이는 소프트웨어·하드웨어 기술은 상대적으로 적은 자본으로도 성과를 낼 여지가 있다. 오픈AI, 앤스로픽 출신 연구자들이 이런 스타트업에 직접 돈을 넣는 것도, 어디서 비용이 새는지 현장에서 직접 겪어봤기 때문이라는 해석이 나온다. TechCrunch 보도에 따르면 이런 흐름이 최근 눈에 띄게 잦아졌다.
일상에서 매일 마주치는 추론 사례
- 스마트폰 카메라가 사진 찍는 순간 얼굴을 인식하는 것
- 챗봇에 질문을 입력하고 답변이 화면에 뜨는 것
- 내비게이션 앱이 실시간 교통 데이터로 경로를 다시 짜는 것
전부 이미 학습된 모델이 새 입력을 받아 즉시 결과를 내놓는 상황이다. 넓게 보면 다 추론이다.
궁금할 만한 것들, 짚고 가자
Q. 추론에도 학습만큼 비싼 GPU가 꼭 필요한가?
학습용 GPU만큼 강력할 필요는 없다. 다만 응답 속도와 동시 처리량을 확보하려면 전용 칩이나 최적화된 소프트웨어가 사실상 필수다.
Q. 모델을 한 번 학습시키면 추론 비용은 안 드는 거 아닌가?
아니다. 학습은 한 번으로 끝나지만 추론은 서비스를 운영하는 내내 발생한다. 쌓이면 학습 비용을 훨씬 웃돈다.
Q. 일반 개발자도 추론 최적화를 신경 써야 하나?
직접 대형 모델을 서빙할 계획이 없다면 당장은 몰라도 된다. 다만 API 요금제를 고를 때 추론 비용 구조를 알아두면 운영비를 가늠하는 데 도움이 된다.
출처: TechCrunch