- AI 추론은 학습과 달리 끝나는 시점이 없고, 요청 하나마다 로그·캐시·백업 같은 뒷단 데이터를 남깁니다.
- WD 자체 측정에선 3.97MB짜리 8초 AI 영상 하나가 서버에 500MB 넘는 데이터를 남겼어요. 결과물의 약 130배입니다.
- 저장 비용은 GPU 예산처럼 오르내리지 않고 쌓이기만 해서, 데이터 계층(핫·웜·쿨·콜드)과 보존 정책을 처음부터 따로 설계해야 합니다.
3.97MB. 사용자가 내려받는 8초짜리 720p AI 영상 한 편의 크기예요. 이 영상을 만든 서버에는 500MB가 넘는 데이터가 남습니다. 로그, 캐시된 컨텍스트, 중간 렌더링 결과물, 백업, 안전성 검토 기록까지 전부요. 눈에 보이는 결과물의 약 130배가 보이지 않는 곳에 쌓이는 셈이죠.
이 수치는 스토리지 업체 WD가 자체적으로 잰 값입니다. MIT 테크놀로지 리뷰에는 WD가 직접 만든 후원 콘텐츠로 실렸고요. 저장장치를 파는 회사가 저장 수요가 커진다고 말하는 구도예요. 그래서 숫자 하나하나보다 이 사례가 보여주는 구조를 먼저 보는 쪽이 안전하다고 봅니다. 출처의 이해관계는 뒤에서 따로 짚겠습니다.
AI 비용 하면 대부분 GPU 랙과 전력부터 떠올립니다. 그런데 계획 단계에서 가장 자주 빠지는 항목은 따로 있어요. 데이터 저장.
학습은 ‘프로젝트’, 추론은 끝나지 않는 상시 비용
AI 인프라 이야기는 오랫동안 모델 학습(training)에 맞춰져 있었어요. 학습은 연산을 막대하게 쓰지만 끝이 있습니다. 시작하고, 컴퓨팅 자원을 태우고, 종료하는 순서죠. 예산으로 보면 규모와 기간을 정해 잡아뒀다가 마무리할 수 있는 ‘프로젝트’에 가깝습니다.
추론(inference)은 성격이 전혀 다릅니다. 사용자가 질문하고 모델이 답할 때마다 돌아가는 과정이라 서비스가 살아 있는 한 멈추지 않아요. 은퇴 시점이 없다는 뜻이고, 요청이 들어올 때마다 서버에 무언가가 남는다는 뜻이기도 합니다. 인프라 계획에서 둘을 같은 줄에 놓으면 안 되는 이유예요.
| 구분 | 학습(Training) | 추론(Inference) |
|---|---|---|
| 실행 방식 | 한 번 돌리고 끝나는 작업 | 모델이 답할 때마다 계속 실행 |
| 예산 잡는 방식 | 프로젝트처럼 편성하고 종료 가능 | 종료 시점이 없는 상시 비용 |
| 끝난 뒤 남는 것 | 실행이 끝나면 컴퓨팅 소모도 멈춤 | 요청마다 로그·캐시·백업 등이 남아 누적 |
| 수요 성장 전망(맥킨지, 2030년까지 연평균) | 22% | 35% |
표 맨 아래 줄을 보세요. 맥킨지는 AI 추론 수요가 2030년까지 연평균 35%씩 늘어 학습(22%)보다 빠르게 커질 거라고 내다봤습니다. 2020년대 말이면 전체 데이터센터 수요의 40% 이상을 추론이 차지한다는 전망이에요. 추론이 늘면 추론이 남기는 데이터도 따라 늘어납니다. 이 전망을 저장 수요 전망으로 바꿔 읽어도 크게 무리는 없어 보여요.
500MB의 정체, 요청마다 남는 다섯 종류의 뒷단 데이터
WD가 측정한 500MB는 크게 다섯 가지로 나뉩니다. 아래 항목별 역할은 원문 수치가 아니라 일반적인 서비스 운영 관점에서 풀어 쓴 설명이에요.
- 로그: 요청이 언제, 어떤 조건으로 처리됐는지 남기는 기록. 요청 수에 비례해 늘어납니다.
- 캐시된 컨텍스트: 모델이 답을 만들 때 참조한 입력과 맥락이에요. 다시 쓰려고 붙잡아 두는 데이터입니다.
- 중간 렌더링 결과물: 최종 영상이 나오기 전 단계에서 만들어진 결과물. 최종본이 나오면 쓸모가 급격히 줄어드는 편이에요.
- 백업: 장애에 대비한 복제본이라 원본이 늘면 같이 늘어납니다.
- 안전성 기록: 생성물이 정책에 맞는지 검토한 흔적이에요. 나중에 문제가 생겼을 때 근거가 되는 데이터라 선뜻 지우기 어려운 항목이기도 합니다.
이 다섯 가지는 작업이 끝나도 사라지지 않습니다. 사용자는 4MB도 안 되는 파일을 받고 떠나는데, 서버에는 그 100배가 넘는 데이터가 계속 자리를 차지해요.
그나마 이건 8초·720p 기준입니다. WD는 기업이 더 길고 해상도 높은 영상을 만들면 클립 하나당 뒷단 데이터가 수백 GB까지 불어난다고 설명해요. 짧은 데모 영상으로 비용을 가늠했다가는 실제 운영 규모에서 자릿수가 달라질 수 있습니다.
조직이 체감하는 변화도 같은 방향이에요. 아래는 WD 후원으로 IDC가 전 세계 IT·비즈니스 의사결정자 763명을 조사한 백서의 결과입니다.
| IDC 백서 응답(763명) | 비율 |
|---|---|
| 1년 사이 생성형 AI 때문에 데이터 양이 늘었다 | 약 95% |
| 증가 폭이 25% 이상이다 | 약 61% |
응답자 대부분이 늘었다고 답했습니다. 소수 기업의 특수한 사정보다는 AI를 쓰는 조직 대부분이 겪는 변화로 보는 게 자연스러워요. 이 조사를 후원한 곳도 WD라는 점은 함께 기억해 둘 만하고요.
느린 스토리지에 GPU가 놀고, 저장비는 복리로 쌓인다
저장 문제를 용량 문제로만 보면 절반만 본 겁니다. 보고서에 실린 한 하이퍼스케일 클라우드 기업의 시니어 프로덕트 매니저는 스토리지를 늘리는 일을 “GPU를 쉬지 않게 하는 최적화”로 볼 수 있다고 했어요. 이 매니저가 꼽은 가장 큰 과제도 GPU가 데이터를 기다리며 놀지 않게 하는 것이었습니다. GPU 유휴 시간이 몇 시간만 쌓여도 비용이 순식간에 불어나기 때문이에요.
데이터를 불러오느라 멈춘 모델은 GPU가 없어서 멈춘 모델과 비용상 크게 다르지 않습니다. 비싼 장비를 들여놓고 줄만 세워 두는 꼴이죠.
더 골치 아픈 건 이 병목이 잘 안 보인다는 점이에요. 컴퓨팅과 저장은 예산표에서 움직이는 방식부터 다릅니다.
| 구분 | 컴퓨팅(GPU) | 저장 |
|---|---|---|
| 예산에 드러나는 방식 | 설비 투자 항목에 금액이 바로 찍힘 | 운영비 증가·데이터 검색 지연으로 문제가 된 뒤에야 드러남 |
| 수요의 흐름 | 학습 주기, 제품 출시, 하드웨어 교체에 따라 오르내림 | 컴퓨팅 수요가 줄어도 같이 줄지 않고 누적 |
| 예측 단위 | 생성 1건당·질의 1건당 단가 | 영상 하나, 청구 건 하나마다 복리처럼 불어남 |
모델 로그, 합성 결과물, 추론 결과는 계속 쌓이고, 조직은 이걸 점점 더 오래 붙잡아 둡니다. 원문은 이 흐름을 단순한 가정으로 계산해 보여줘요. 저장 지출이 해마다 25%씩 늘고 컴퓨팅 예산은 예측 가능한 주기로 움직인다고 해 봅시다. 이 경우 가장 많은 관심을 받는 GPU 예산보다 저장 비용이 더 빨리 커진다는 계산이 나옵니다.
원문은 이 구조를 보여주는 사례로 두 업종을 듭니다.
- 소매업체: 카탈로그용 AI 상품 영상을 만듭니다. 컴퓨팅 비용은 생성 1건당 단가로 재무팀이 예측할 수 있지만, 저장 비용은 영상이 하나 나올 때마다 불어나요.
- 보험사: 보험금 청구 서류를 RAG(검색 증강 생성, 외부 문서를 찾아 답변에 붙이는 방식) 파이프라인에 넣어 심사를 빠르게 합니다. 질의 1건당 단가는 미리 잡히는데, 저장 비용은 청구 건 하나를 처리할 때마다 복리처럼 쌓이죠.
AI 예산을 ‘컴퓨팅 + 저장은 반올림 오차’ 정도로 잡은 팀이 있다고 해 봅시다. 원문은 12~18개월 뒤 그 오차가 전체 프로그램 비용의 상당 부분이 돼 있을 수 있다고 지적합니다. 하필 그때가 경영진이 사업 확대 여부를 결정하는 시점과 겹쳐요. 확대를 논의하는 자리에 예상 밖의 저장 비용이 함께 올라오는 셈이라 시기로는 최악에 가깝습니다.
추론 데이터는 핫이 아니라 웜·쿨·콜드에 쌓인다
스토리지 계층(tier)은 데이터에 얼마나 자주, 얼마나 빨리 접근해야 하는지에 따라 저장 위치를 나누는 개념입니다. 핫 계층은 즉시, 끊임없이 접근하는 데이터용이라 가장 빠르고 가장 비싸요. 그 뒤로 웜·쿨·콜드 계층이 이어집니다. 뒤로 갈수록 속도를 내주는 대신 용량 단가가 내려가는 구조예요.
WD가 짚는 함정은 저장 전략이 대개 비싼 핫 계층 성능 위주로 설계된다는 점입니다. 정작 AI 데이터의 대부분은 용량 기준으로 그 뒤의 웜·쿨·콜드 계층에 쌓이는데도요. WD는 이렇게 쌓였다가 다시 꺼내 쓰는 대용량 데이터에는 테라바이트당 비용이 낮은 HDD가 경제적인 기반이 된다고 주장합니다.
이 대목은 한 발 물러서 읽는 게 맞습니다. HDD를 만드는 회사가 HDD로 결론을 내는 셈이니까요. 접근 빈도에 따라 계층을 나누자는 논리는 출처와 상관없이 성립합니다. 어떤 매체를 쓸지는 따로 따져볼 문제고요.
데이터 종류별로 계층을 정할 땐 아래 네 가지를 차례로 물어보면 정리가 쉬워집니다. 원문 내용을 바탕으로 세운 판단 기준이에요.
- 접근 빈도: 다음 요청 처리에 바로 쓰이는가? 이어지는 대화에서 곧장 읽어야 하는 캐시된 컨텍스트처럼, 지금 당장 필요한 데이터만 핫 계층에 둡니다.
- 재사용 가능성: 나중에 RAG나 추론의 입력으로 다시 쓰일 수 있는가? 예전엔 아카이브로 넘어간 데이터를 다시 꺼낼 일이 거의 없었어요. 이제는 그 아카이브가 다음 AI 작업의 재료가 됩니다. IDC 조사에서 응답자 96%가 추론이나 RAG를 위해 더 빠른 아카이브 검색이 필요해질 거라고 답한 것도 같은 맥락이고요. 이런 데이터는 콜드에 묻어두기보다 꺼내기 쉬운 웜·쿨 계층이 맞아 보입니다.
- 보존 이유: 백업이나 안전성 기록처럼 ‘있어야 하지만 거의 안 읽는’ 데이터인가? 콜드 계층의 1순위 후보예요.
- 증가 속도: 요청 수에 비례해 늘어나는가? 로그나 중간 렌더링처럼 요청마다 생기는 데이터는 자동 이동·삭제 규칙을 걸어두지 않으면 가장 빨리 불어납니다.
앞의 다섯 가지 데이터에 이 네 질문을 대입하면 대략 이렇게 나뉩니다.
| 데이터 | 배치 후보 | 판단 근거 |
|---|---|---|
| 캐시된 컨텍스트(이어지는 대화에서 바로 읽는 것) | 핫 | 다음 요청 처리에 즉시 필요 |
| RAG·추론 재료가 될 수 있는 데이터 | 웜·쿨 | 나중에 다시 꺼내 쓸 수 있음 |
| 백업, 안전성 기록 | 콜드(1순위 후보) | 있어야 하지만 거의 읽지 않음 |
| 로그, 중간 렌더링 결과물 | 자동 이동·삭제 규칙 필수 | 요청마다 생겨 가장 빨리 불어남 |
원문은 보존 기간을 정하는 잣대도 바꾸라고 주장해요. 처음 저장할 때 든 비용 말고, 그 데이터가 앞으로 가질 전략적 가치를 기준으로 보존 정책을 세우라는 겁니다.
자체 데이터센터를 운영한다면 하나 더 챙길 게 있습니다. 저장 결정은 드라이브 한 대가 아니라 장비 전체(플릿) 단위로 이뤄져요. 용량이 커질수록 계층별 전력 소비, 신뢰성, 집적도, 운영 효율이 시스템 전체의 경제성을 좌우하게 됩니다.
보존 정책을 클라우드 수명 주기 규칙으로 옮기는 흐름
퍼블릭 클라우드의 오브젝트 스토리지를 쓴다면 대개 버킷 단위로 수명 주기(Lifecycle) 규칙을 걸 수 있어요. 서비스와 버전마다 화면 구성이 조금씩 다르니 큰 흐름 위주로 보면 됩니다.
- 데이터 종류별로 저장 경로부터 나눕니다. logs/, cache/, renders/, backups/, safety/처럼 접두사(prefix)나 태그로 구분해 둬야 종류마다 다른 규칙을 걸 수 있어요.
- 스토리지 콘솔 → 대상 버킷(또는 컨테이너) 선택 → 관리 탭 → 수명 주기 규칙 만들기 순서로 들어갑니다. (이 단계는 확실하지 않음: ‘수명 주기’나 ‘데이터 관리’ 탭에 규칙 메뉴를 둔 서비스도 있어요.)
- 규칙 적용 범위에 1번에서 정한 접두사나 태그를 지정합니다.
- ‘생성 후 N일이 지나면 하위 스토리지 클래스로 이동’ 동작을 추가합니다. 중간 렌더링처럼 최종본이 나오면 쓸모가 줄어드는 데이터는 기간을 짧게 잡습니다. RAG 재료가 될 수 있는 데이터는 꺼내기 쉬운 계층에 오래 두는 식이에요.
- ‘N일 후 삭제(만료)’ 동작은 보존 정책 책임자가 정한 기간에 맞춰 맨 마지막에 겁니다. 삭제는 되돌리기 어려우니 백업과 안전성 기록은 특히 신중하게 다뤄야 해요.
국내 AI 서비스 견적서에 저장 항목을 따로 넣어야 하는 이유
전제부터 짚겠습니다. 위 수치는 글로벌 조사에서 나왔고, 원문에는 국가별 응답 비중이 나오지 않아요. 한국 기업 상황에 숫자를 그대로 대입하기보다는 방향을 읽는 용도로 쓰는 게 맞습니다. 이 전제를 두고 한국 사용자와 기업 입장에서 달라질 만한 부분을 추리면 네 가지예요.
- 호출 단가 견적만으로는 부족해요(추측 포함): 생성형 AI로 상품 영상을 만드는 쇼핑몰이나 문서 검색을 붙인 보험·금융 서비스는 원문 사례와 구조가 비슷합니다. 이런 곳의 견적은 보통 생성당·호출당 단가로 잡히겠죠. 결과물과 뒷단 데이터를 어디에, 얼마나 오래 보관하는지는 별도 항목으로 받아둬야 1년 뒤 청구서에서 놀라지 않습니다.
- 보존 기간은 비용만으로 못 정해요(추측): 로그, 캐시된 컨텍스트, 안전성 기록에는 사용자 입력이 섞여 있을 가능성이 높아 보여요. 국내에서 서비스한다면 저장 비용과 개인정보 처리 기준을 나란히 놓고 보관 기간을 정해야 할 겁니다.
- 외화 결제라면 환율까지 쌓여요(추정): 해외 클라우드를 달러로 결제하면 매달 늘어나는 저장 용량이 환율 변동까지 떠안는 비용이 됩니다. 쓰고 나면 멈추는 컴퓨팅 비용과 달리 줄지 않는 항목이라 부담이 더 크게 느껴질 수 있어요.
- 개인 사용자에게도 의미가 있어요(추측): 내가 받은 몇 MB짜리 결과물 뒤에 훨씬 큰 기록이 서버에 남을 수 있다는 뜻이니까요. 민감한 내용을 AI 서비스에 넣기 전에 그 서비스의 개인정보 처리방침에서 보관 기간 항목을 한 번 확인해 보면 좋습니다.
확인된 것과 아직 불확실한 것
확인된 것
- WD 자체 측정에서 8초 AI 영상(720p, 3.97MB) 한 건이 뒷단에 500MB 넘는 데이터를 남겼고, 결과물 대비 약 130배였다. 구성은 로그, 캐시된 컨텍스트, 중간 렌더링, 백업, 안전성 기록이다.
- 맥킨지는 AI 추론 수요가 2030년까지 연평균 35%(학습은 22%) 성장하고, 2020년대 말 데이터센터 전체 수요의 40% 이상을 차지할 것으로 전망했다.
- WD 후원 IDC 백서(응답자 763명)에서 약 95%가 생성형 AI로 데이터가 늘었다고, 약 61%가 25% 이상 늘었다고 답했다. 96%는 추론·RAG를 위해 더 빠른 아카이브 검색이 필요해질 것으로 봤다.
아직 불확실한 것
- 130배라는 비율은 영상 생성 한 사례의 측정값이라, 텍스트나 이미지 생성, 다른 모델과 서비스에서도 비슷한지는 원문만으로 알 수 없다.
- 백업을 몇 벌 두는지, 로그를 얼마나 보관하는지 같은 측정 조건이 공개되지 않아 다른 환경과 직접 비교하기 어렵다.
- ‘저장 지출이 해마다 25%씩 증가’는 원문이 든 가정 시나리오로, 실제 지출을 측정한 수치가 아니다.
- 핵심 수치 대부분이 HDD를 만드는 WD의 자체 측정이나 후원 조사에서 나왔고, 결론도 HDD의 비용 우위로 이어진다. 독립적으로 검증된 수치로 보기는 어렵다.
- 한국 기업의 응답 비중이나 국내 데이터 증가율은 원문에 없다.
예산 주기 전에 답해야 할 질문 세 개
원문은 마지막에 질문 세 개를 던집니다. 그대로 체크리스트로 써도 될 만큼 구체적이에요.
- AI가 생성한 콘텐츠에 대한 데이터 보존 정책이 있는가, 그리고 그걸 누가 정하는가?
- 스토리지 구매가 학습 시점의 성능 요구에 맞춰져 있는가, 아니면 실제로 만들어지는 데이터의 수명 주기에 맞춰져 있는가?
- AI 사용량이 1년 새 두 배가 되면 저장 비용도 두 배가 될까, 아니면 그보다 더 늘어날까?
원문은 대부분의 조직이 이 셋 모두에 자신 있게 답하지 못한다고 봐요. 하나라도 막힌다면 앞에서 본 계층 기준과 수명 주기 규칙부터 손보는 게 순서입니다. 비용이 청구서에 찍힌 다음에는 쌓인 데이터를 옮기는 작업 자체가 또 하나의 비용이 될 수 있거든요. 늦게 움직이면 저장비에 이전 비용까지 두 번 내게 됩니다. 예산 주기가 돌아오기 전에 메워야 할 빈칸이라는 원문의 결론에 수긍이 가는 이유예요.
