- 기업용 AI 에이전트의 성패는 모델 크기보다 ‘업무가 실제로 돌아가는 방식’, 즉 운영 맥락을 아느냐에 달려 있다.
- 맥락이 빠진 에이전트는 제약 조건을 놓치고, 비싼 실수를 하고, 필요한 정보를 알아내느라 연산을 과하게 쓴다.
- 도입은 결정 하나를 골라 가장 어려운 단계부터 AI를 시험하고, 속도와 가치를 측정한 뒤 확장 여부를 정하는 순서가 안전하다.
세상의 거의 모든 지식을 학습한 AI 모델이라도 우리 회사의 발주 승인 기준 하나를 모르면 엉뚱한 답을 내놓는다. 정답에 닿는 경우도 있긴 하다. 질문을 거듭하며 막대한 연산을 태운 끝에.
이 간극을 메우려는 개념이 ‘컨텍스트 인식 AI(context-aware AI)’다. 셀로니스(Celonis)에서 기업 AI 수석 과학자를 맡고 있는 데바브라트 샤(Devavrat Shah)는 MIT 테크놀로지 리뷰 팟캐스트 ‘Business Lab’에 나와, 이 맥락을 ‘의사결정 인텔리전스’의 핵심으로 꼽았다.
그의 주장은 한 줄이면 된다. 기업 에이전트의 성패는 모델 크기가 아니라 회사가 실제로 어떻게 돌아가는지를 아느냐로 갈린다. 맥락이 빠지면 무슨 비용이 생기는지, 어디부터 손대야 하는지도 이 한 줄에서 나온다.
컨텍스트는 프롬프트가 아니라 ‘회사가 일하는 방식’
용어부터 짚고 가자. 여기서 컨텍스트는 대화 기록이나 프롬프트 길이가 아니다. 기업이 실제로 운영되는 방식 전체를 말한다.
- 프로세스: 어떤 일을 어떤 순서로 처리하는가
- 제약 조건: 예산 한도, 승인 규칙처럼 결정을 묶어 두는 조건
- 관계: 한 과제의 결과가 다른 팀·다른 단계에 어떤 영향을 주는가
- 데이터: 기업이 이미 쓰고 있는 시스템에 쌓인 업무 기록
네 항목 모두 모델 성능과는 상관이 없다. 전부 회사 안에 이미 있는 정보다. 모델을 바꾼다고 생겨나지 않는다는 뜻이기도 하다.
범용 모델은 일반 원칙에 강하다. 그런데 기업의 결정은 대부분 특수한 상황에서 나온다. 팟캐스트 진행자 메건 테이텀(Megan Tatum)도 이 지점을 짚었다. 맥락 없이 움직이는 기업 AI는 일반 원칙을 특수한 시나리오에 들이밀다가 기대에 못 미치는 결과를 낸다. 경영진이 확장을 망설이는 이유도 여기 있다는 설명이다.
샤의 표현은 더 짧다. 어떤 역할과 어떤 과제를 AI에 맡길지 알려면 맥락을 알아야 하고, “진공 상태에서 그냥 할 수는 없다”는 것.
의사결정 인텔리전스, 결정을 ‘과제’ 단위로 쪼갠다
샤가 말하는 의사결정 인텔리전스(decision intelligence)는 AI를 결정 자체가 아니라 결정에 이르는 과정에 붙이는 접근이다.
출발점은 분류다. 그는 기업의 결정을 크게 두 종류로 나눈다.
- 전략적 결정: 사안이 생길 때마다 간헐적으로 내리는 결정
- 운영적 결정: 높은 빈도로 반복해서 내리는 결정
어느 쪽이든 정해진 프로세스가 있다. 이 일을 먼저 하고, 다음에 저 일을 하는 식이다. 사람들은 그 안에서 각자 역할을 맡는다. 샤는 이 역할 단위가 젠슨 황이 ‘태스크’라고 부른 것과 같다고 본다. 단계별 과제가 하나씩 끝나야 비로소 결정에 닿는다.
AI 에이전트가 들어갈 자리도 이 과제 하나하나다. 결정을 통째로 넘기지 않는다. 과제마다 개입 수준을 따로 고른다.
- 보강(augment): 사람이 하던 과제를 더 잘하게 돕는다
- 지원(support): 과제 수행에 필요한 정보나 추천을 건넨다
- 자동화(automate): 반복적이고 고된 과제는 AI가 맡는다
어떤 과제에 어느 수준을 적용할지는 결정의 종류와 과제의 성격에 따라 달라진다. 이 판단부터가 맥락 없이는 불가능하다.
글 전체에서 실무에 가장 바로 쓸 만한 대목이 여기다. ‘AI를 쓸까 말까’라는 막연한 질문을 ‘어느 과제에, 어느 수준으로’라는 구체적인 질문으로 바꿔 주기 때문이다.
맥락 없는 에이전트의 청구서: 제약 누락·실수·연산 낭비
샤는 맥락 없이 에이전트를 돌릴 때의 위험을 두 갈래 시나리오로 설명했다.
- 이상적인 경우: 프런티어 연구소들이 세상에서 일어난 일과 일어날 법한 일을 모두 담은 거대한 모델을 만들었다고 치자. 이 ‘아주 똑똑한 존재’는 사람처럼 질문을 여러 번 던진 끝에 결국 올바른 답을 찾는다. 대신 간단한 과제 하나를 끝내는 데도 막대한 연산을 쓴다.
- 현실적인 경우: 실제로는 그런 이상적 상황이 오지 않는다. 중요한 맥락과 제약을 그대로 놓친다.
두 시나리오가 가리키는 곳은 같다. 모델이 아무리 똑똑해도 맥락이 없으면 비용이 생긴다. 앞쪽은 연산으로, 뒤쪽은 실수로 치를 뿐이다. 항목별로 나누면 세 가지다.
- 제약 누락: 지켜야 할 조건을 모른 채 결정을 추천한다
- 비싼 실수: 잘못된 추천이 실제 업무에 반영되면 되돌리는 비용이 크다
- 연산 낭비: 필요한 정보를 스스로 알아내느라 단순 작업에도 자원을 과하게 쓴다
맥락이 있고 없고에 따라 에이전트가 어떻게 달라지는지, 나란히 놓으면 이렇다.
| 구분 | 맥락 없는 AI 에이전트 | 컨텍스트 인식 AI 에이전트 |
|---|---|---|
| 필요한 정보 확보 | 질문을 거듭하며 스스로 알아냄 | 기존 프로세스·데이터에 연결된 컨텍스트 레이어에서 참조 |
| 제약 조건 | 중요한 제약을 놓칠 위험 | 정의된 가드레일 안에서 동작 |
| 연산 자원 | 단순 과제에도 과도한 연산 소모 | 탐색 부담이 줄어 자원 낭비를 피할 여지 |
| 결과물 | 일반 원칙을 특수 상황에 적용해 빗나가기 쉬움 | 사람이 검토·승인할 수 있는 추천 |
| 사람의 역할 | 결정을 에이전트에 넘겨버릴 위험 | AI 출력과 그 함의를 이해하고 최종 판단 |
표의 오른쪽 열은 샤가 제시한 방향으로 읽어야 한다. 연산 자원 칸이 ‘피할 여지’라는 조심스러운 표현에 머문 것도 그래서다. 얼마나 줄어드는지 보여 주는 숫자는 팟캐스트에 없었다.
컨텍스트 레이어 도입, 반복되는 결정 하나부터
해법의 출발점은 새 모델이 아니다. 연결이다. 기업이 이미 쓰고 있는 프로세스와 데이터에 AI를 이어 붙이는 ‘컨텍스트 레이어’가 핵심. 이 레이어가 맡는 일은 세 가지다.
- 에이전트가 업무 흐름(워크플로)을 이해하게 한다
- 정해진 가드레일 안에서만 움직이게 한다
- 사람이 검토하고 승인할 수 있는 형태로 추천을 내놓게 한다
바꿔 말하면 준비의 상당 부분은 모델을 만드는 쪽이 아니라 도입하는 기업이 풀어야 할 숙제라는 얘기다. 샤가 권하는 시작 방법도 작고 구체적이다.
- 특정 비즈니스 결정 하나를 고른다. ‘업무 효율화’ 같은 막연한 목표는 대상이 아니다. 반복되는 결정 하나면 된다.
- 그 결정에서 가장 어려운 단계를 찾는다. 시간이 오래 걸리거나 실수가 잦은 과제가 후보다.
- AI가 그 단계를 개선하는지 시험한다. 결정 전체가 아니라 해당 단계만 놓고 본다.
- 속도와 가치의 개선 폭을 측정한다. 얼마나 빨라졌는지, 어떤 가치가 생겼는지를 숫자로 남긴다.
- 측정 결과로 확장 여부를 판단한다. 효과가 확인된 애플리케이션만 넓힌다.
다섯 단계의 무게중심은 4번이다. 측정 결과가 없으면 5번에서 확장을 판단할 근거도 사라진다.
이 측정은 경영진이 요구하는 것과 정확히 겹친다. 수년간 실험·데모·파일럿을 거친 기업 리더들은 확장이 실제 수익에 도움이 된다는 분명한 증거를 원한다. 결정 단위로 재면 그 증거를 만들기가 훨씬 쉽다. 이 순서에 설득력이 있는 이유다.
시험에 들어가기 전에 미리 정해 둘 항목도 있다.
- 에이전트가 넘으면 안 되는 가드레일 범위(예: 승인 없이 실행하면 안 되는 작업)
- AI 추천을 검토·승인할 담당자
- 비교 기준이 될 AI 도입 전 처리 시간과 결과
특히 세 번째 항목이 빠지면 4번 단계가 성립하지 않는다. 비교할 기준치 없이 ‘빨라졌다’를 숫자로 보여 줄 방법은 없다.
국내 기업 PoC·결재 라인에 생길 변화
아래 내용은 원문의 논리를 국내 기업 환경에 대입해 본 추측이다.
- PoC 평가 기준의 이동(추측): 질문이 ‘데모가 잘 돌아가는가’에서 ‘특정 결정이 얼마나 빨라지고 어떤 가치가 생겼는가’로 옮겨갈 것으로 보인다. 샤가 확장을 정당화하는 근거로 내세운 게 바로 속도·가치 측정이다.
- 데이터·프로세스 정리가 선행 과제로(추측): 컨텍스트 레이어는 기존 프로세스와 데이터를 잇는 데서 출발한다. 여러 시스템에 흩어진 업무 기록을 정리하는 일이 모델 선택보다 먼저 필요해질 수 있다.
- 기존 결재 흐름과의 결합(추측): 사람이 검토·승인하는 구조가 전제다. 승인 단계가 여러 겹인 조직이라면 기존 결재 흐름 안에 AI 추천을 끼워 넣는 방식이 현실적인 출발점이 될 수 있다.
- 사내 교육의 초점 변화(추측): 반복 업무와 팀 간 조율이 자동화되면 실무자의 시간은 더 복잡한 전략적 판단으로 옮겨간다. 걸리는 건 AI 출력과 그 함의를 이해하지 못하면 결정을 에이전트에 떠넘기게 된다는 지적이다. 사내 AI 교육이 ‘도구 사용법’에서 ‘결과 해석법’으로 넓어질 것으로 보인다.
네 가지 모두 추측이지만 방향은 하나로 모인다. 어떤 모델을 들이느냐보다 회사 안을 먼저 정리해야 한다는 것.
확인된 것과 아직 불확실한 것
확인된 것
- 샤는 셀로니스의 기업 AI 수석 과학자이며, MIT 교수로 20년 넘게 AI를 가르쳐 왔다고 밝혔다.
- 맥락 없는 에이전트의 위험으로 제약 누락, 비용이 큰 실수, 과도한 연산 소모가 제시됐다.
- 권장 도입 순서는 특정 결정 선택 → 가장 어려운 단계 파악 → AI 개선 여부 시험 → 속도·가치 측정 → 확장 판단이다.
- 직원이 AI 출력을 이해할 수 있도록 인력 교육에 투자해야 한다는 점이 강조됐다.
아직 불확실한 것
- 컨텍스트 레이어가 오류와 연산 비용을 얼마나 줄이는지에 대한 정량 수치는 제시되지 않았다.
- 컨텍스트 레이어를 어떤 데이터로, 어떤 방식으로 구현하는지는 구체적으로 설명되지 않았다.
- 재무·인력 관리·마케팅·영업 같은 전사 계획으로의 확장은 샤의 전망이며, 실제 적용 사례는 소개되지 않았다.
- 해당 에피소드는 셀로니스와 파트너십으로 제작돼 특정 기업의 관점이 반영됐을 수 있다.
재무·인력·영업까지, 샤가 내다본 다음 무대
샤는 컨텍스트 인식 AI의 쓰임이 반복적인 운영 과제에서 멈추지 않는다고 본다. 그가 꼽은 확장 영역은 재무, 인력 관리, 마케팅, 영업이다.
논리는 단순하다. 올바른 맥락이 주어지면 AI가 선택지를 평가하고, 파급력이 큰 결정을 더 빨리 내리도록 도울 수 있다. 자원 계획을 두고는 “어쩌면 그렇게 많은 시간이 걸릴 필요가 없고, 사람들이 실제로 빠르게 올바른 선택을 하게 될 것”이라고 했다.
이 대목은 앞의 도입 순서와 성격이 다르다. 결정 하나에서 시작하라는 권고는 바로 따라 해 볼 수 있는 방법론이고, 전사 계획 이야기는 말 그대로 전망이다. 두 가지를 같은 무게로 읽을 필요는 없다.
샤의 권고를 거꾸로 읽으면 체크리스트가 된다. 어떤 결정을 고를지, 그 결정의 어느 단계가 가장 어려운지, 도입 전 기준치는 얼마인지. 모델을 먼저 고르고 쓸 곳을 찾는 방식으로는 이 세 질문에 답이 나오지 않는다. 기업 AI가 실험 단계를 넘어 일상 운영으로 들어가려면, 맥락을 어떻게 공급할지가 첫 번째 설계 과제다.
