AI 에이전트 운영 진입률 34%, 지식 레이어가 변수

세 건 중 한 건. 에이전트형 AI 프로젝트가 파일럿을 벗어나 실제 운영 환경에 올라가는 평균 비율이다. 데이터·AI·기술 임원 300명을 조사한 보고서가 내놓은 수치는 약 34%였다.

나머지가 파일럿에서 멈추는 핵심 실패 지점으로는 세 가지가 꼽혔다. 낡은 데이터 시스템, 보안·개인정보 우려, 그리고 지식과 맥락의 부족. 셋을 다 다루면 글이 흩어지니 여기서는 세 번째만 판다. 에이전트한테 필요한 ‘지식’이 정확히 무엇이고, 그걸 어떤 기술로 채우는지다.

데이터는 넘치는데 에이전트가 틀린 결정을 내리는 이유

용어부터 잡고 가자. 데이터와 지식은 같은 말이 아니다. 여기서 지식은 데이터가 개별 조직의 맥락에서 무엇을 의미하는지에 대한 이해를 가리킨다.

가상의 예를 하나 들어 보겠다. 매출 테이블에 숫자가 정확히 들어 있다고 치자. 그런데 그 숫자가 환불을 뺀 값인지 아닌지는 테이블만 들여다봐서는 알 길이 없다. 사람이라면 옆자리 동료한테 물어보면 끝이다. 에이전트는 물어볼 데가 없다.

게다가 에이전트는 답만 하고 끝나는 물건이 아니다. 상황을 추론하고, 결정을 내리고, 행동까지 이어 간다. 이해가 빠진 채로 그 과정을 밟으면 결함이 있고 믿기 어려운 결정이 나오기 쉽다. 챗봇은 틀린 답을 내놓는 데서 멈추지만 에이전트의 결과는 실제 작업으로 넘어간다. 오류 한 번의 비용이 더 크다고 보는 게 맞다.

파일럿에 머무는 프로젝트가 많다는 건 이미 넣은 투자가 낭비될 위험과 붙어 있는 얘기다. 에이전트를 더 효과적으로 굴리는 경쟁사에 자리를 내주는 문제이기도 하다.

수치를 읽기 전에 출처 성격 하나는 알고 가야 한다. 이 조사를 만든 곳은 MIT 테크놀로지 리뷰의 맞춤형 콘텐츠 조직인 Insights다. 편집국 기사가 아니다. 아래 숫자를 볼 때 이 점은 머리 한쪽에 계속 두자.

의미 지식·일화 기억·절차 지식, 세 갈래가 각자 맡는 일

보고서는 ‘에이전트 지식 역량’이라는 것을 세 축으로 쟀다. 이름이 좀 거창한데, 에이전트가 받아들이는 데이터에 대해 온전한 맥락적 이해를 갖게 해 주는 조직의 능력을 뜻한다.

다만 공개된 요약문에는 세 축의 이름만 나온다. 그래서 아래 풀이는 보고서의 정의가 아니라, 에이전트 설계에서 일반적으로 통용되는 의미로 적었다.

• 의미 지식(semantic knowledge): 용어와 개체, 그 사이 관계의 뜻. ‘활성 고객’이 이 회사에서 정확히 누구인지, 어느 컬럼이 어느 지표인지가 여기 들어간다.
• 일화 기억(episodic memory): 과거에 실제로 있었던 일. 이전 대화, 지난 처리 이력, 비슷한 사례가 어떻게 끝났는지에 대한 기록이다.
• 절차 지식(procedural knowledge): 일을 처리하는 방법. 승인 순서, 예외 규칙, 업무 단계가 해당한다.

환불 요청을 처리하는 에이전트를 떠올리면 구분이 금방 된다. 어떤 주문이 ‘환불 가능’에 해당하는가, 이건 의미 지식이다. 같은 고객의 지난 요청이 어떻게 처리됐는지는 일화 기억. 누구의 승인을 거쳐 어떤 순서로 진행하는지는 절차 지식이다.

셋 중 어디서 출발할지 고르라면 의미 지식으로 보인다. 근거는 이렇다. 운영 진입률이 높은 기업들이 나머지보다 지식 역량이 강했는데, 그 차이가 특히 의미 측면에서 두드러졌다.

설문 수치로 본 걸림돌: 파편화 55%, 보안 72%

항목	수치	원문이 붙인 설명
설문 대상	300명	데이터·AI·기타 기술 임원
운영 단계 진입 비율(전체 평균)	약 34%	첨단 기술 기업도 어려움을 겪음
운영 단계 진입 비율(프로덕션 리더)	평균 61%	파일럿을 넘긴 프로젝트 기준, 소수 그룹
데이터 파편화를 주요 과제로 꼽은 응답	55%	지식 접근 확대의 과제 중 가장 많이 언급
보안·개인정보를 주요 우려로 꼽은 프로덕션 리더	72%	리더 그룹 안에서의 비율

데이터 파편화부터 풀자. 시스템 사이에 데이터가 충분히 공유되지 않는 상태를 말한다. 에이전트가 답을 찾으려 해도 필요한 조각이 서로 다른 시스템에 갇혀 있는 셈이다.

34%와 61%. 숫자만 보면 격차가 크다. 그런데 프로덕션 리더가 몇 곳인지는 ‘소수 그룹’이라고만 적혀 있어서 61%라는 평균의 무게를 가늠하기는 어렵다.

표에서 눈여겨볼 건 두 그룹의 고민이 서로 다르다는 점이다. 전체에서는 파편화가 가장 많이 꼽혔다. 프로덕션 리더는 보안과 개인정보를 더 크게 걱정했다.

리더들이 연결 문제를 어느 정도 넘기고 나서 그다음 단계의 문제를 만난 거라고 읽으면 그럴듯하다. 하지만 요약문은 이유를 설명하지 않는다. 그러니 이 대목은 사실이 아니라 해석으로 받아들여야 한다.

하나 더 짚자. 지식 역량과 운영 진입률은 밀접하게 맞물려 움직인다고 표현됐다. 이건 상관관계다. 지식 역량을 올리면 진입률이 따라 오른다는 인과 증명이 아니다. 헷갈리기 쉬운 지점이라 굳이 적어 둔다.

지식 레이어를 채우는 기술, 상황에 따라 고르는 기준

에이전트의 결정 품질을 높이는 조치 가운데 임원들이 가장 큰 효과를 기대한 건 조직의 데이터와 에이전트 사이의 구조적 토대를 강화하는 일이었다. 인터뷰에 응한 전문가들이 그 유력한 방법으로 꼽은 게 지식 레이어다.

지식 레이어는 원천 데이터와 에이전트 사이에 놓이는 중간층이라고 이해하면 된다. 흩어진 데이터의 뜻, 관계, 규칙을 한곳에서 일관되게 내어 주는 역할. (이 풀이는 일반적 의미이며, 보고서 본문의 정의는 요약문에 실려 있지 않다.)

투자 우선순위에는 검색 기술, AI 평가 에이전트, 지식 그래프가 올랐다. 아래 기술별 풀이도 일반적 의미로 적은 것이고, 잘 맞는 상황은 저마다 다르다.

• 수집 파이프라인: 여러 시스템에서 문서와 레코드를 끌어와 정제하고 색인한다. 파편화가 가장 큰 문제라면 여기가 먼저다.
• AI용 API(AI-ready API): 에이전트가 사내 시스템을 구조화된 방식으로 조회하는 통로. 문서가 아니라 수시로 바뀌는 수치와 거래 데이터가 필요할 때 맞는다.
• RAG(검색 증강 생성): 질문이 들어온 시점에 관련 자료를 찾아 모델에 함께 넣어 준다. 규정집, 매뉴얼처럼 문서 기반 답변이 중심일 때 효과적이다.
• 지식 그래프: 개체와 관계를 연결 구조로 저장한다. 부서마다 용어 정의가 엇갈리거나 ‘누가 무엇을 담당하는가’ 같은 관계 질문이 많을 때 의미 지식을 보강해 준다.
• AI 평가 에이전트: 이름 그대로 다른 에이전트의 결과를 점검하는 역할로 풀이된다. 운영 전환을 앞두고 품질 기준을 사람 손으로만 확인하기 어려울 때 검토할 대상이다.

고르는 기준은 단순하다. 데이터가 안 보이는 게 문제면 수집과 API. 보이는데 뜻을 모르는 게 문제면 지식 그래프. 답이 맞는지 모르는 게 문제면 평가다.

그룹웨어·전자결재·메신저가 따로 도는 국내 회사라면 달라지는 것

미리 밝혀 둔다. 설문 응답 기업의 지역 구성은 요약문에 나와 있지 않다. 한국 기업이 포함됐는지조차 알 수 없다. 그래서 아래는 수치를 국내 상황에 대입해 본 추측이다.

• 검토 순서가 바뀐다: 어떤 모델을 쓸지보다 사내 데이터가 어디에 흩어져 있는지를 먼저 본다. 그룹웨어, 전자결재, 메신저, ERP가 따로 돌아가는 조직이라면 파편화 55%는 남의 이야기가 아닐 가능성이 높다.
• 사내 용어 사전이 필요해진다: 한국어 약어, 부서 고유 명칭, 직급 호칭은 외부에서 학습된 모델이 알기 어렵다. 의미 지식을 따로 적어 둬야 하는 이유가 여기 있다.
• 결재 규정이 곧 절차 지식이다: 승인 라인과 전결 기준이 담당자 머릿속에만 있으면 에이전트는 따를 방법이 없다.
• 권한 설계가 앞당겨진다: 고객 개인정보가 섞인 문서를 에이전트가 검색하게 되면 접근 권한부터 문제가 된다. 운영 단계에 많이 진입한 그룹의 72%가 보안·개인정보를 우려로 든 것과 같은 맥락이다.

확인된 것과 아직 불확실한 것

확인된 사실

• 조사 대상은 데이터·AI·기타 기술 임원 300명이다.
• 에이전트형 AI 프로젝트의 운영 진입 비율은 평균 약 34%, 프로덕션 리더 그룹은 평균 61%다.
• 지식 접근 확대의 과제로 데이터 파편화가 가장 많이 꼽혔다(55%).
• 프로덕션 리더의 72%는 보안·개인정보를 주요 우려로 들었다.
• 투자 우선순위는 검색 기술(수집 파이프라인, AI용 API, RAG), AI 평가 에이전트, 지식 그래프다.
• 보고서는 편집국이 아닌 맞춤형 콘텐츠 조직이 제작했다.

미확정 사항

• 지식 역량이 운영 진입률을 직접 끌어올리는지 여부. 제시된 것은 상관관계다.
• 세 가지 지식 유형을 보고서가 어떻게 정의하고 점수화했는지. 요약문에는 이름만 있다.
• 응답 기업의 지역·업종·규모 구성과 한국 기업 포함 여부.
• 프로덕션 리더가 전체 응답자 중 몇 곳인지. ‘소수 그룹’이라고만 적혀 있다.
• 보고서 제작을 의뢰하거나 후원한 기업이 있는지.
• 지식 레이어의 구체적 구조. 업계에 합의된 표준 형태는 요약문에서 확인되지 않는다.

파일럿을 운영으로 넘기기 전 점검 순서

지금까지 내용을 실무 순서로 옮기면 아래와 같다. 오해하면 안 되는 게, 보고서가 이런 절차를 제시한 건 아니다. 세 가지 지식 유형과 투자 우선순위를 근거로 다시 짠 목록이다.

1. 데이터 지도 그리기: 에이전트가 쓸 데이터가 어느 시스템에 있는지 적고, 시스템 간 공유가 막힌 지점을 표시한다.
2. 용어 정의 고정하기: 핵심 지표와 용어의 뜻을 한 문서에 모으고 부서 간 차이를 조정한다. 의미 지식을 채우는 단계다.
3. 이력 선별하기: 과거 처리 기록 중 에이전트가 참고할 것과 참고해서는 안 될 것을 가른다. 여기가 일화 기억이다.
4. 절차 문서화하기: 승인 순서와 예외 규칙을 사람이 아닌 문서에 남긴다. 절차 지식은 이 단계에서 만들어진다.
5. 권한 기준 반영하기: 누가 볼 수 있는 자료인지에 대한 기준을 검색 단계에 그대로 적용한다.
6. 평가 방식 정하기: 에이전트의 결정이 맞았는지 무엇으로 판단할지 운영 전에 정한다.

데이터 지도를 맨 앞에 둔 건 파편화가 55%로 가장 많이 꼽힌 과제였기 때문이다. 용어 정의가 바로 뒤에 오는 이유도 같다. 운영 진입률이 높은 기업과 나머지의 차이가 의미 측면에서 두드러졌다는 대목을 따랐다.

파일럿이 멈췄다고 모델부터 갈아 끼우기 전에 이 목록을 먼저 확인하는 편이 합리적으로 보인다. 근거는 단순하다. 요약문이 꼽은 핵심 실패 지점 세 가지에 모델 성능은 들어 있지 않다.

출처: MIT Tech Review AI