[태그:] AI

챗GPT에 질문 한 번 던질 때 드는 전력이 일반 검색보다 거의 10배 든다는 분석이 나왔다. 데이터센터 하나가 소도시급 전력을 통째로 빨아들이는 시대. 그러다 보니 한동안 뒷전이던 원자력 발전이 다시 도마 위에 올랐다. 중심에 있는 게 SMR, 소형모듈원자로다. 뉴스에서 이름은 자주 들었는데, 정확히 뭐가 다른 건지 헷갈리는 사람 많을 거다. 개념부터 기존 원전과의 차이, 관련 기업까지 한 번에 정리해봤다.

SMR(소형모듈원자로), 정확히 뭘까

SMR은 Small Modular Reactor의 줄임말. 발전 용량이 300MW급 이하인 소형 원자로를 가리킨다. 기존 대형 원전이 보통 1000~1400MW급으로 지어지는 걸 생각하면 3분의 1도 안 되는 규모다. 핵심은 ‘모듈화’. 공장에서 부품 단위로 미리 만든 다음 현장에서는 조립만 하는 방식이다. 이 덕에 건설 기간과 비용을 크게 줄일 수 있다는 게 업계가 내세우는 장점이다.

기존 대형 원전과 다른 점 3가지

• 규모 — 대형 원전은 부지 하나에 수조 원이 들어가지만, SMR은 상대적으로 적은 자본으로 여러 곳에 나눠 지을 수 있다.
• 냉각 방식 — 상당수 SMR은 물 대신 나트륨이나 헬륨 같은 냉각재를 쓴다. 대형 냉각탑이 아예 필요 없는 설계도 많다.
• 안전 설계 — 사고가 나도 외부 전원 없이 자연 순환만으로 열을 식히는 ‘수동 안전’ 개념을 적용한 모델이 많다. 후쿠시마 이후 강화된 규제 기준을 염두에 두고 설계됐다.

마이크로리액터는 또 뭐가 다른가

SMR보다 한 단계 더 작은 개념도 있다. 마이크로리액터. 보통 1~20MW급으로, 트럭에 실어 옮길 수 있을 정도로 작다. 군사 기지, 오지 광산, 재해 지역처럼 대형 송전망을 깔기 힘든 곳에 전력을 대주는 용도로 개발 중이다. 최근 미국에서 마이크로리액터 여러 기가 ‘임계 도달’ 시험을 통과했다는 소식도 이런 흐름과 맞닿아 있다. 임계 도달이란 원자로 안의 핵분열 연쇄반응이 스스로 유지되는 상태를 확인하는 절차다. 상용 가동 전에 반드시 거쳐야 하는 핵심 검증 단계로 보면 된다.

AI 데이터센터가 다시 원전을 찾는 이유

태양광이나 풍력은 날씨 따라 출력이 오르락내리락한다. 반면 데이터센터는 24시간 끊김 없는 전력이 필요하다. 원자력은 날씨와 무관하게 일정한 출력을 내는 ‘기저 전원’이라, AI 인프라와 궁합이 잘 맞는다는 평가가 나온다. 실제로 마이크로소프트, 아마존, 구글 같은 빅테크들이 SMR 스타트업에 투자하거나 자체 데이터센터 부지에 소형 원자로를 짓는 계약을 잇달아 맺고 있다. 전력망을 새로 까는 데만 수년이 걸리는 상황이니, 부지 안에 발전소를 직접 두는 쪽이 오히려 현실적인 대안으로 떠오른 셈이다.

지켜볼 만한 기업들

• 뉴스케일파워 — 미국 원자력규제위원회(NRC) 설계 인증을 받은 대표 SMR 개발사.
• 테라파워 — 빌 게이츠가 창업했고, 나트륨 냉각 방식 원자로를 개발 중이다.
• 오클로 — 마이크로리액터 전문 기업. 데이터센터 전용 전력 공급 계약을 여러 건 따냈다.
• 웨스팅하우스, 롤스로이스 — 대형 원전으로 쌓은 기술력을 바탕으로 SMR 시장에 뛰어든 전통 강자들.

국내에서는 한국수력원자력과 두산에너빌리티가 관련 부품 제작과 해외 프로젝트 수주에 나서고 있다.

상용화까지 남은 숙제

기술 검증이 끝났다고 바로 전기가 나오는 건 아니다. 규제 당국의 정식 운영 허가, 부지 확보, 사용후핵연료 처리 방안까지 넘어야 할 단계가 줄줄이 남았다. 초기 비용도 만만치 않다. 실제 발전 단가가 기존 원전보다 저렴할지는 아직 검증 중이라고 봐야 한다. 솔직히 이 부분은 좀 더 지켜봐야 할 듯. 업계에서는 2020년대 후반은 돼야 상업용 SMR이 전력망에 본격적으로 연결될 걸로 보고 있다.

이것도 궁금하죠?

Q. SMR은 기존 원전보다 안전한가?
수동 안전 설계 덕에 이론상 사고 확률은 낮아진다. 다만 실증 사례가 아직 많지 않아서 장기 검증은 더 필요하다.

Q. 한국에서도 SMR을 지을 수 있나?
기술적으로는 가능하고 관련 연구도 진행 중이다. 다만 부지 선정과 주민 수용성 문제는 해외보다 까다로운 편이다.

Q. 태양광·풍력 대신 SMR로 대체될까?
대체보다는 보완에 가깝다는 시각이 많다. 재생에너지의 간헐성을 메우는 기저 전원 역할로 접근하는 쪽이다.

출처: MIT Tech Review AI

엔비디아 매출의 대부분은 데이터센터용 AI 칩에서 나온다. 그런데 이 칩, 중국에 팔아도 되는 걸까. 몇 년째 오락가락하는 얘기다. H20, 블랙웰… 이름 나올 때마다 뭐가 다른 건지 헷갈린다는 사람 많다. 핵심만 짚어본다.

미국은 왜 엔비디아 칩을 막으려 할까

AI 칩은 이제 단순 부품이 아니다. 군사력과 경제력을 좌우하는 전략 자산 취급을 받는다. 미국 정부 입장에서는 최첨단 GPU가 중국 군사 AI나 감시 시스템 고도화에 쓰이는 걸 경계한다. 그래서 상무부 산하 산업안보국(BIS)이 반도체 성능 기준선을 그어놓고, 그 선을 넘는 칩은 별도 허가 없이 중국 수출을 못 하게 막아뒀다. 이 기준선, 2022년 이후로 몇 번이나 바뀌었다. 그때마다 엔비디아는 규제를 살짝 비켜가는 저사양 모델을 새로 내놓는 패턴을 반복해왔다. 솔직히 이쯤 되면 두더지 잡기 게임 같다.

H20, A800, 블랙웰… 등급부터 구분하자

• A100·H100: 규제 이전 주력 칩. 지금은 중국 수출이 사실상 막혀 있다.
• A800·H800: 성능 낮춰 중국 시장용으로 만들었던 모델. 이것도 결국 규제 대상에 들어갔다.
• H20: 훈련 성능은 낮추고 추론 위주로 짠 중국 전용 칩. 판매 허용과 금지를 오락가락 반복 중.
• 블랙웰(GB200 등): 최신 세대 칩. 중국 수출은 원칙적으로 막혀 있다.

이름만 봐선 도무지 구분이 안 간다. 결국 기준은 하나다. 연산 성능 지표(FLOPS)와 칩 간 연결 대역폭. 이 두 가지로 규제선을 긋는다는 것만 알아두면 관련 뉴스 이해가 훨씬 쉬워진다.

라이선스냐 전면 금지냐, 방식이 계속 바뀐다

수출 규제라고 해서 무조건 금지는 아니다. 대부분 건별 라이선스 심사로 돌아간다. 엔비디아가 특정 물량을 중국에 팔려면 정부 승인이 필요하고, 승인 여부는 그때그때 정치 상황 따라 달라진다. 매출 일부를 미국 정부에 내는 조건이 붙었던 적도 있다. 업계에서도 이례적이라는 평이 많았다. 완화 시기와 강화 시기가 번갈아 오다 보니 엔비디아 주가도 이 뉴스 하나에 출렁이는 일이 잦다.

중국도 가만있지 않는다: 자체 칩 개발 속도

화웨이 어센드(Ascend) 시리즈, SMIC 파운드리 투자가 대표적이다. 아직 엔비디아 최신 칩만큼의 효율은 못 따라간다는 평가가 많다. 다만 격차는 조금씩 좁혀지는 중이다. 중국 정부가 자국 기업에 엔비디아 칩 대신 국산 칩을 쓰라고 압박한다는 보도도 나왔다. 이런 흐름과 무관하지 않은 얘기다. 규제가 오히려 중국 반도체 자립을 앞당기는 부작용을 낳고 있다는 지적, 꾸준히 나온다.

투자자라면 이 숫자를 챙겨야 한다

엔비디아 실적 발표 때마다 애널리스트들이 제일 먼저 묻는 게 있다. 중국 매출이 얼마나 빠졌냐는 것. 중국은 한때 데이터센터 매출의 20% 안팎을 차지하던 시장이다. 규제 강도에 따라 분기 실적이 크게 흔들린다는 얘기다. 반대로 규제 완화 신호가 나오면 주가가 바로 반응하는 경우도 많다. 수출 규제 뉴스 한 줄이 반도체 관련주 전반의 단기 변동성으로 이어진다고 봐도 무방하다.

다음 수순은

미국 행정부가 바뀔 때마다 정책 기조도 함께 흔들려왔다. 강경 기조와 완화 기조가 번갈아 나오는 패턴, 당분간 이어질 가능성이 높다. 여기에 네덜란드, 일본 같은 동맹국의 장비 수출 규제까지 맞물리면서 변수는 계속 늘어나는 모양새다. 결국 관전 포인트는 하나로 좁혀진다. 미국이 기술 우위를 지키는 것과 엔비디아가 세계 최대 시장 중 하나를 잃지 않는 것. 이 두 목표를 정치권이 어떻게 절충하느냐, 거기에 달렸다.

MIT Tech Review AI가 전한 소식을 바탕으로 정리했다. 원문은 여기서 확인할 수 있다.

챗GPT나 클로드 같은 챗봇에 뭔가 물어보면 답이 몇 초 안에 나온다. 빠르다. 그런데 그 대답이 모델 안에서 정확히 어떤 경로를 거쳐 만들어졌는지, 사실 만든 회사도 제대로 설명 못 한다. 수천억 개짜리 숫자 뭉치(파라미터)가 뒤엉켜 돌아가는 신경망 속을 들여다보는 일. 자동차 엔진을 뜯어보지도 않고 소리만 듣고 구조를 짐작하는 것과 비슷하다. 이걸 AI 블랙박스 문제라 부른다.

AI 블랙박스 문제, 정체가 뭘까

대형 언어모델(LLM)은 입력 문장을 수많은 층(layer)을 거치며 벡터로 바꾸고, 그 벡터 연산 결과로 다음 단어를 뽑아낸다. 문제는 이 과정이 사람이 짠 규칙이 아니라는 데 있다. 학습 데이터에서 스스로 형성된 패턴이다. 일반 소프트웨어라면 개발자가 코드를 한 줄씩 읽으면 그만이지만, 모델의 판단 근거는 숫자 행렬 속에 흩어져 있어서 눈으로 확인하기가 쉽지 않다. 그래서 왜 이런 답을 냈는지, 어떤 개념을 근거로 추론했는지를 나중에라도 재구성하는 작업이 필요해진다.

해석가능성이 왜 필요하냐면

모델이 왜 그런 결론에 도달했는지 모르는 채로 의료 상담, 금융 심사, 자율주행 판단에 AI를 쓴다면 어떨까. 위험 부담이 커진다. 오작동이나 편향된 답이 나와도 원인을 못 짚으면 고치는 것도 답이 없다. 규제 기관들도 AI 의사결정의 근거를 요구하는 쪽으로 움직이는 중이다. 내부 동작을 설명하는 능력은 이제 안전성 검증의 핵심 요소로 자리 잡았다.

AI 속마음, 어떻게 들여다보나

• 프로빙(Probing): 모델 내부 벡터에 특정 개념(가령 긍정·부정 감정)이 얼마나 뚜렷하게 담겨 있는지 별도 분류기로 테스트하는 방식
• 스파스 오토인코더: 뒤엉킨 벡터를 사람이 이해할 수 있는 단위 개념으로 쪼개서, 어떤 뉴런 조합이 어떤 의미와 연결되는지 찾아내는 방법
• 회로 추적(Circuit tracing): 입력부터 출력까지 정보가 어떤 경로를 타고 흐르는지 단계별로 따라가며 지도를 그리는 접근

MIT 테크놀로지 리뷰가 소개한 사례를 보면, 앤트로픽 연구진은 이 흐름을 한 단계 더 정교하게 파고드는 새로운 렌즈 기법을 공개했다. 모델이 개념을 조합하고 다음 단어를 고르는 순간, 그 미묘한 계산 변화까지 수치로 잡아내는 시도다. 이 정도면 거의 뇌를 실시간으로 촬영하는 수준 아닌가 싶다.

모델 안에서 실제로 뭐가 나왔나

이런 도구로 들여다본 모델 내부는 예상보다 훨씬 구조적이었다. 언어가 달라도 같은 개념이 공유되는 영역이 존재했고, 수학 문제를 풀 때는 사람의 계산법과는 다른 지름길을 스스로 만들어 쓰는 경우도 확인됐다. 더 재미있는 대목은 따로 있다. 답을 내놓기 전에 이미 결론에 가까운 방향을 정해두고, 이유는 나중에 짜맞추는 듯한 패턴이 관찰된 사례도 있었다. 겉으로 보이는 문장과 내부 계산 과정이 항상 일치하지는 않는다는 뜻. 신뢰성 검증이 왜 이렇게 까다로운지 이 대목에서 조금은 납득이 간다.

빅테크는 왜 여기에 돈을 쏟아붓나

모델이 커질수록 성능은 좋아진다. 대신 내부 동작을 이해하기는 더 힘들어진다. 성능과 투명성이 반비례하는 셈이다. 안전 관점에서 보면, 모델이 사용자를 속이거나 학습되지 않은 위험한 행동을 몰래 계획하는지 미리 잡아내는 게 핵심 과제다. 해석가능성 연구는 이런 잠재적 오작동을 배포 전에 발견할 사실상 유일한 수단이다. 그러니 안전팀 규모를 키우고 전담 연구소를 따로 두는 회사가 늘어나는 것도 이상한 일은 아니다.

결국 뭐가 달라지나

당장 일반 사용자가 체감할 변화는 크지 않다. 다만 장기적으로 보면, 모델이 왜 그렇게 답했는지 근거를 함께 내놓는 서비스, 오류가 터지면 원인을 추적해 빠르게 고치는 시스템으로 이어질 가능성이 높다. AI를 다루는 개발자 입장에서는 프롬프트 엔지니어링만큼이나 모델의 내부 동작 원리를 이해하는 역량이 점점 필요해질 것으로 보인다. 프롬프트만 잘 쓰면 된다는 시대는 저물고 있는 셈이다.

짧게 묻고 답하기

Q. 해석가능성 연구가 완성되면 AI가 100% 안전해지나?
완전한 해결책은 아니다. 내부를 더 잘 이해하게 될 뿐, 모델 자체의 한계나 편향까지 사라지는 건 아니다.

Q. 일반 개발자도 이런 기법을 써볼 수 있나?
오픈소스로 공개된 스파스 오토인코더나 프로빙 도구가 있어서, 작은 규모 모델로 직접 실습해볼 수 있다.

Q. 하필 왜 요즘 들어 이런 연구가 활발해졌나?
모델 규모가 커지면서 오작동 시 파급력도 함께 커졌고, 규제 논의가 본격화되면서 내부 검증 수요가 늘었기 때문이다.

출처: MIT Tech Review AI

오픈AI, 구글, 마이크로소프트. 요즘 이 세 곳이 입을 모아 외치는 단어가 하나 있다. AI 플랫폼이다. 챗봇 하나, 이미지 생성 모델 하나 던져놓고 끝나던 시절은 저물었다. 지금은 모델과 에이전트, 개발 도구, 마켓플레이스까지 한데 묶은 생태계 싸움이 본격적으로 시작됐다. 검색창에 ‘AI 플랫폼’이라고 쳐본 적 있다면 알 것이다. 정확히 뭘 말하는 건지 애매하다. 그래서 개념부터 대표 서비스, 고르는 기준까지 한번 정리해봤다.

AI 플랫폼, 정확히 뭘 가리키는 말일까

AI 플랫폼은 모델 하나가 아니다. 그 모델을 중심으로 여러 기능이 얹힌 종합 인프라에 가깝다. 텍스트를 뽑아내는 언어모델 자체는 엔진이고, 플랫폼은 그 엔진에 API, 개발자 도구, 데이터 연동, 에이전트 빌더, 결제 시스템까지 붙인 완성차랄까. 오픈AI의 GPT 시리즈를 예로 들면 이해가 빠르다. GPT 자체는 모델이다. 여기에 GPTs 스토어와 API, 파인튜닝 도구가 얹히는 순간 ‘오픈AI 플랫폼’이 된다.

모델과 플랫폼, 뭐가 다를까

모델은 질문에 답하는 두뇌 하나다. 플랫폼은 그 두뇌를 실제 업무에 붙일 수 있게 만든 배관, 인터페이스 전체를 말한다. 실무자 입장에서 체감 차이는 이렇다.

• 모델 단독: 채팅창 열고 질문 하나 던져서 답 받는 수준
• 플랫폼: 사내 데이터베이스, 이메일, 슬랙까지 연동해 업무를 알아서 처리하는 에이전트 구축 가능
• 플랫폼: 여러 개발자와 기업이 앱을 만들어 올리는 마켓플레이스 존재

결국 무게중심이 모델 성능에서 플랫폼 쪽으로 넘어가는 셈이다. 모델 하나 잘 만든다고 사용자가 붙어있지 않는다는 계산이 깔려 있다.

지금 판 벌인 곳들, 어디까지 왔나

시장을 이끄는 축은 대략 넷으로 나뉜다.

• 오픈AI: GPT 모델과 API, GPT 스토어, 어시스턴트 API로 개발자 생태계 확장
• 구글: 제미나이와 버텍스 AI로 클라우드 인프라와 AI를 한 몸으로 묶어 제공
• 마이크로소프트: 코파일럿 스튜디오로 오피스, 애저와 AI를 엮어 기업용 자동화 강조
• 앤트로픽: 클로드를 앞세워 개발자용 API, 엔터프라이즈 연동에 집중

네 곳 방향은 결이 비슷하다. 모델 하나 팔던 데서 벗어나, 기업이 업무 전체를 맡길 수 있는 발판을 깔고 있다.

기업들이 굳이 플랫폼으로 옮겨가는 이유

모델 갈아타는 비용이 만만치 않다는 걸 다들 안다. 한 번 특정 플랫폼에 데이터 연동, 워크플로, 에이전트를 심어두면 나중에 옮기기가 여간 번거롭지 않다. 플랫폼 사업자들이 노리는 지점이 딱 여기다. 사내 챗봇 하나만 도입하려던 기업도 결국 문서 검색, 고객 응대, 코드 리뷰까지 한 플랫폼 안에서 처리하는 쪽으로 넓혀가는 경우가 많다. 도구 하나 골랐다가 나중에 업무 체계 통째로 갈아엎는 것보다야, 처음부터 확장 가능한 플랫폼 골라두는 게 마음 편하다.

고를 때 이 5가지는 짚고 넘어가자

당장 어떤 플랫폼을 써야 할지 고민이라면 이 항목부터 따져보자.

• 기존 시스템과의 연동성: 이미 쓰는 클라우드, 오피스 도구와 궁합이 맞는지
• 데이터 보안 정책: 입력한 데이터가 학습에 재사용되는지, 엔터프라이즈 계약에서 별도로 보호받는지
• 확장성: 단순 챗봇에서 에이전트, 자동화까지 단계적으로 키울 수 있는 구조인지
• 비용 구조: 토큰 단가만 볼 게 아니라 호출량이 늘었을 때 총비용이 어떻게 뛰는지
• 개발자 생태계: 플러그인, 커넥터, 커뮤니티가 얼마나 살아있는지

팀 규모가 작으면 연동성과 비용 먼저. 조직이 크다면 보안과 확장성을 앞에 두는 편이 현실적이다.

개인 개발자도 이런 개념을 알아둬야 하나

개인이나 작은 프로젝트라면 거창한 플랫폼 전체를 다 쓸 필요는 없다. API 하나만 붙여도 충분한 경우가 대부분이다. 다만 서비스가 나중에 커졌을 때 어떤 플랫폼으로 갈아탈지 미리 감을 잡아두면, 초기 설계 단계에서 불필요한 재작업이 줄어든다. 특정 벤더에 지나치게 종속되는 구조는 피하고, API 표준을 지키는 도구를 먼저 고르는 습관. 이게 장기적으로 유리하다.

결국 승부는 어디로 가나

업계는 이제 ‘누가 더 똑똑한 모델을 만드느냐’에서 ‘누가 더 많은 업무를 자기 플랫폼 안에 가둬두느냐’로 경쟁 축을 옮기는 중이다. 검색, 오피스, 클라우드 인프라를 이미 쥔 빅테크들이 유리한 고지를 점한 구도. 신생 AI 기업들도 결국 특정 분야에 특화된 미니 플랫폼으로 틈새를 파고드는 전략을 택하는 추세다. 이 플랫폼 싸움이 앞으로 몇 년간 AI 업계 지형을 가르는 핵심 변수가 될 듯하다.

출처: MIT Tech Review AI

AI 파일럿 프로젝트를 진행한 기업 중에서 실제 서비스로 이어지는 곳은 아직 소수다. 모델 성능 문제가 아니다. 그 모델을 얹을 바닥 자체가 부실해서 무너지는 경우가 훨씬 많다. 데이터 파이프라인이 엉성하거나, 보안 정책을 서비스 오픈 직전에야 급조하거나, GPU 자원 계획도 없이 프로젝트부터 벌이는 곳들. 딱 이런 패턴이다. 에이전트형 AI로 무게중심이 옮겨가면서 이 기초 공사는 더 중요해졌다. 챗봇 하나 붙이는 수준이 아니라 여러 AI가 서로 도구를 호출하고 데이터를 주고받는 구조라서, 아키텍처가 부실하면 장애 지점이 곱절로 늘어난다. IT 조직이 AI 도입 전에 점검해야 할 기초 요소를 정리해봤다.

데이터 파이프라인부터 다시 봐야 하는 이유

모델은 결국 데이터가 흐르는 대로 결과를 낸다. 사일로화된 데이터베이스, 정제 안 된 로그, 버전 관리도 안 되는 스프레드시트가 뒤섞인 환경. 여기에 아무리 좋은 LLM을 붙여봐야 헛돌 뿐이다. 실무에서 우선순위로 삼아야 할 항목은 이 정도다.

• 데이터 출처와 최신성을 추적하는 메타데이터 관리 체계
• 실시간 추론이 필요한 경우를 대비한 스트리밍 파이프라인
• 부서 간 데이터를 통합할 공통 스키마

이 세 가지가 없는 상태에서 에이전트를 붙이면 어떻게 될까. 잘못된 데이터로 잘못된 판단을 내리는 자동화가 그대로 서비스에 노출된다.

MLOps는 이제 선택지가 아니다

모델 하나 배포하고 끝나는 시대는 지났다. 모델 버전 관리, 성능 드리프트 모니터링, 롤백 절차. 이 셋이 없으면 시간이 지날수록 정확도가 슬금슬금 떨어지는 걸 아무도 눈치채지 못한다. CI/CD 파이프라인에 모델 평가 단계를 끼워 넣고 재학습 트리거를 자동화해둔 조직과, 이걸 수동으로 관리하는 조직. 반년만 지나도 격차가 확연히 벌어진다.

에이전트형 AI는 인프라 요구사항부터 다르다

단일 프롬프트-응답 구조와는 다르다. 에이전트는 여러 단계를 거쳐 도구를 호출하고 상태를 유지한다. 이 과정에서 지연 시간, 컨텍스트 저장, 오류 시 재시도 로직이 전부 새로운 변수로 튀어나온다. 기존 REST API 위주로 짜인 시스템에 에이전트를 그냥 얹으면? 호출량이 폭증하거나 무한 루프에 빠지는 문제가 생기기 쉽다. 오케스트레이션 레이어를 따로 두고, 각 에이전트가 어떤 도구까지 접근할 수 있는지 권한을 명확히 나눠두는 설계가 필요하다.

보안과 거버넌스, 나중에 챙기면 이미 늦다

프롬프트 인젝션, 민감 데이터 유출, 모델이 엉뚱한 근거로 내린 결정에 대한 책임 소재까지. 챙길 항목이 한둘이 아니다. 보안팀을 프로젝트 초기부터 끼워 넣는 조직과, 서비스 오픈 직전에야 검토를 요청하는 조직. 결과물은 완전히 다르다. 최소한 다음 항목은 설계 단계에 넣어야 한다.

• 모델 입출력에 대한 로깅과 감사 추적
• 외부 API 호출 전 데이터 마스킹 정책
• 사고 발생 시 즉시 차단하는 킬스위치

규제 대응 문서만 갖추고 실제 기술적 통제는 빠진 경우, 의외로 흔하다. 문서와 코드가 실제로 일치하는지 주기적으로 확인하는 절차를 만들어두는 편이 낫다.

GPU·컴퓨팅 자원, 전략 없이 덤비면 청구서에서 운다

엔비디아 GPU 확보 경쟁이 이어지면서 컴퓨팅 자원 자체가 병목이 되는 일이 흔해졌다. 온프레미스로 다 구축하기엔 비용이 부담스럽고, 클라우드만 쓰자니 트래픽이 늘어날수록 청구서가 무섭게 불어난다. 현실적인 접근은 워크로드를 나눠서 판단하는 것.

• 실시간 응답이 필요한 추론은 전용 인스턴스로
• 배치성 재학습은 스팟 인스턴스나 예약 자원으로
• 피크 시간대 트래픽은 오토스케일링으로 흡수

자원 계획 없이 프로젝트 규모부터 키우면 서비스가 뜨는 순간 비용 구조가 감당 안 되는 상황을 맞을 수 있다. 이건 흔한 실수다.

기술 못지않게 조직 구조와 사람이 문제다

아키텍처를 아무리 잘 짜도 이걸 운영할 사람이 없으면 무용지물이다. 데이터 엔지니어, MLOps 담당자, 보안 담당자가 각자 다른 팀 소속으로 흩어져 있으면 의사결정이 느려지고 책임 소재도 애매해진다. 최근에는 이 세 역할을 하나의 AI 플랫폼 팀으로 묶어 운영하는 조직이 늘고 있다. 초기 투자 비용은 크다. 다만 장기적으로는 프로젝트마다 처음부터 다시 설계하는 낭비를 줄여준다.

결국 살아남는 프로젝트는 이 3가지가 있다

데이터 기반, 운영 자동화, 보안 통제. 이 세 가지가 튼튼해야 그 위에 어떤 모델을 올려도 버틴다. 유행하는 프레임워크나 최신 모델을 좇기 전에, 이 기초 공사가 되어 있는지부터 점검하는 게 순서다. 반년 뒤, 1년 뒤에도 살아남는 AI 프로젝트와 조용히 사라지는 프로젝트. 차이는 결국 여기서 갈린다.

이것도 궁금하죠

Q. 스타트업도 이런 아키텍처를 다 갖춰야 하나?
규모에 맞게 단계적으로 가면 된다. 처음부터 완벽한 MLOps 파이프라인을 만들 필요는 없다. 데이터 정합성과 최소한의 로깅부터 시작해도 충분하다.

Q. 클라우드 AI 서비스만 써도 아키텍처 고민이 필요한가?
필요하다. 관리형 서비스를 쓰더라도 데이터 흐름 설계, 접근 권한 관리, 비용 모니터링은 여전히 자체 몫이다.

Q. 에이전트형 AI 도입 시 가장 먼저 손봐야 할 부분은?
권한 관리다. 어떤 에이전트가 어떤 도구와 데이터에 접근할 수 있는지부터 명확히 정의해두지 않으면, 사고가 터졌을 때 원인 추적조차 어렵다.

MIT Tech Review AI가 지난 7일 전한 내용을 바탕으로 정리했다.