[태그:] 데이터 분석

평균 48%. AI 분석 에이전트가 내놓은 인사이트 가운데 실제로 회사 실적을 개선하는 행동까지 이어진 비율이에요. MIT 테크놀로지 리뷰의 커스텀 콘텐츠 조직인 인사이츠(Insights)가 기업 임원 설문과 전문가 인터뷰를 바탕으로 펴낸 보고서에 실린 숫자고요. 응답 기업들은 1년 전엔 이 비율이 평균 37%였다고 답했어요. 나아진 건 분명해요. 그래도 뒤집어 보면 에이전트가 만든 인사이트의 절반 이상이 여전히 회사에 도움이 되지 못하고 있다는 얘기예요.

보고서만 만들어 주는 도구라면 틀린 인사이트는 틀린 보고서 한 장으로 끝날 수도 있어요. 에이전틱 분석(agentic analytics)은 얘기가 달라요. 에이전트는 인사이트를 근거로 업무 흐름을 자동으로 돌리고 직접 조치까지 취하도록 설계되거든요. 잘못된 인사이트가 잘못된 행동을 촉발하면 평판이나 재무 손해로 번질 수 있어요. 그래서 도입을 검토할 때 먼저 따질 건 ‘에이전트가 일을 얼마나 많이 해 주나’가 아니에요. ‘에이전트가 내놓은 판단을 믿고 그대로 실행해도 되나’, 이게 먼저죠.

‘무슨 일이 있었나’는 잘 맞히고 ‘뭘 해야 하나’에서 갈린다

생성형 AI가 기업 분석 도구에 들어오면서 제일 크게 바뀐 건 접근성이에요. 쿼리 언어를 몰라도 자연어로 물으면 차트와 요약이 나와요. 분석이 데이터팀만의 일에서 조직 전체가 쓰는 도구로 넘어온 거죠. 에이전틱 AI는 여기서 한 발 더 나가요. 질문에 답하고 끝내는 게 아니라 데이터를 살펴 인사이트를 뽑고, 그 인사이트를 근거로 정해진 업무를 실행하는 흐름 전체를 자동화하는 게 목표예요.

인사이트는 두 종류로 나눠 보면 머리에 잘 들어와요. 하나는 기술적(descriptive) 인사이트. ‘무슨 일이 있었는지’를 설명하는 쪽이에요. 특정 지역 매출이 떨어졌다, 어떤 상품의 반품률이 올랐다 같은 거요. 다른 하나는 처방적(prescriptive) 인사이트로, ‘그래서 무엇을 해야 하는지’를 내놓아요. 재고를 다른 창고로 옮겨라, 특정 고객군에 할인 혜택을 보내라 하는 식이죠. 에이전트가 실제로 움직이는 근거가 되는 건 이 처방적 인사이트예요.

조사에서 응답자 대부분은 에이전트의 기술적 인사이트 품질에 좋은 점수를 줬어요. 처방적 인사이트 평가는 확연히 엇갈렸고요. 이상한 결과는 아니에요. 무슨 일이 있었는지는 데이터만 정확하면 비교적 잘 맞힐 수 있어요. 반면 무엇을 해야 하는지는 회사의 목표, 예산 제약, 사내 규칙처럼 데이터 바깥에 있는 맥락까지 알아야 판단이 서요. 테이블만 들여다봐서는 에이전트가 알 길이 없는 정보들이죠.

이 품질 격차는 성과 차이로 그대로 이어져요. 보고서가 ‘인사이트 리더’라고 부른 소수 기업 그룹에선 에이전트 인사이트의 70% 넘게가 사업 개선 행동으로 이어졌어요. 전체 평균 48%와 나란히 놓으면 차이가 꽤 크죠. 이들은 전체 응답자보다 에이전트 인사이트 품질을 더 높게 평가했고, 그 차이가 특히 크게 벌어진 곳이 처방적 인사이트였어요. 승부는 실행 직전의 판단에서 난다는 뜻이에요.

임원 55%가 꼽은 1순위 원인, 비즈니스 맥락 부족

에이전트 인사이트 품질이 기대에 못 미칠 때 가장 많이 지목된 원인은 비즈니스 맥락 부족이에요. 설문에 응한 임원의 55%가 이걸 골랐어요. 두 번째는 데이터가 여기저기 흩어져 있거나 접근하기 어려운 문제로, 45%. 눈여겨볼 건 인사이트 리더 그룹이에요. 이 그룹에선 에이전트가 맥락에 접근하는 데 애를 먹는다는 답이 상대적으로 적었어요. 맥락을 얼마나 확보했느냐가 성과 차이와 맞물려 있다고 볼 만한 대목이죠. 조사에서 나온 주요 수치는 아래 표에 한꺼번에 모아 뒀어요.

항목	수치	읽는 법
사업 개선으로 이어진 에이전트 인사이트 비율(평균)	48%	절반 이상은 아직 성과로 연결되지 않음
같은 비율, 응답자가 밝힌 1년 전 평균	37%	개선 추세는 확인됨
인사이트 리더 그룹의 같은 비율	70% 초과	품질 관리 수준에 따라 격차가 큼
품질 저하 원인: 비즈니스 맥락 부족	55%	가장 많이 꼽힌 원인
품질 저하 원인: 파편화되거나 접근하기 어려운 데이터	45%	두 번째 주요 원인
평가·실행이 어려울 만큼 인사이트가 많다는 기업	52%	인사이트 과잉 문제
모든 에이전트 인사이트를 평가할 수 있는 기업	24%	대부분은 건별로 사람이 검토
개선 과제: AI·데이터 거버넌스 강화	60%	데이터·AI 관리 체계 정비가 우선
개선 과제: 데이터 구조에 시맨틱 레이어 추가	45%	인터뷰한 전문가들이 핵심으로 꼽음

맥락이 부족하다는 게 실제로 어떤 모습인지 예를 하나 들어 볼게요. 에이전트가 ‘이번 달 매출이 목표보다 낮다’는 결론을 냈다고 쳐요. 그런데 재무팀이 쓰는 매출은 반품과 할인을 뺀 금액이고, 영업팀이 보는 매출은 주문 금액 기준이에요. 이러면 에이전트가 어느 쪽 숫자를 집었느냐에 따라 정반대의 조치를 권할 수 있어요. 숫자 자체는 데이터베이스에 정확히 들어 있어요. 그 숫자가 회사 안에서 어떤 의미로 쓰이는지를 모를 뿐인데, 그 빈칸 하나로 판단이 틀어져요. 가상의 예시이긴 하지만, 부서마다 같은 이름의 지표를 다르게 계산하는 건 데이터를 다뤄 본 조직이라면 낯설지 않은 문제일 거예요.

데이터 파편화는 이 맥락 부족을 더 키워요. 고객 정보는 고객 관리 시스템에, 주문은 주문 시스템에, 마케팅 성과는 광고 도구에 따로 있다고 해 볼게요. 에이전트는 그중 일부만 보고 결론을 내리게 돼요. 사람 분석가라면 ‘이 데이터엔 오프라인 매장 실적이 빠져 있네’ 하고 알아채서 보완하겠죠. 에이전트는 빠진 데이터가 있다는 사실조차 모른 채 그럴듯한 답을 내놓을 수 있어요. 자동화 흐름에선 대놓고 틀린 답보다 그럴듯하게 틀린 답이 더 위험해요. 걸러질 기회가 적으니까요.

시맨틱 레이어, 에이전트에게 쥐여 주는 회사 용어 사전

시맨틱 레이어(semantic layer)는 원천 데이터와 그 데이터를 쓰는 도구 사이에 놓이는 ‘의미 계층’이에요. 테이블·컬럼 이름 같은 기술적 구조를 ‘매출’, ‘활성 고객’, ‘이탈률’ 같은 비즈니스 용어로 번역해 주고, 지표마다 계산 방법을 한 곳에 정의해 둬요. 대시보드든 스프레드시트든 AI 에이전트든, 이 계층을 거쳐 데이터를 조회하면 전부 같은 정의로 계산된 숫자를 받게 되죠.

에이전트 입장에선 회사 용어 사전이자 계산 규칙집이에요. 사용자가 ‘지난 분기 활성 고객이 왜 줄었지?’라고 물었을 때 테이블을 추측해서 이리저리 조합할 필요가 없어요. 시맨틱 레이어에 등록된 ‘활성 고객’ 정의를 그대로 가져다 쓰면 되니까요. 여기서 얻는 건 크게 두 가지예요.

• 일관성: 같은 질문에 대해 부서나 도구마다 다른 숫자가 나오는 일이 줄어요.
• 검증 가능성: 에이전트가 어떤 정의로 계산했는지 추적할 수 있어서, 결과가 이상할 때 원인을 찾기 쉬워요.

조사 대상 기업의 45%가 데이터 아키텍처에 시맨틱 레이어를 추가하는 작업을 우선 과제로 두고 있어요. 인터뷰에 참여한 전문가들도 고성능 에이전트를 위해선 시맨틱 레이어가 결정적이라는 데 입을 모았고요. 품질 저하 1순위 원인이 맥락 부족(55%)이었으니, 맥락을 구조화해서 에이전트에 넘겨주는 장치에 투자가 몰리는 건 앞뒤가 맞는 흐름이에요.

시맨틱 레이어를 만능으로 보면 곤란해요. 정의를 등록하는 건 결국 사람이에요. 부서 간 합의 없이 정의만 기술적으로 넣어 두면, 잘못된 정의가 모든 도구에 똑같이 퍼져요. 일관성이라는 장점이 고스란히 약점으로 뒤집히는 거죠. 시맨틱 레이어가 거버넌스와 짝을 이뤄야 효과가 나는 이유예요. 조사 대상 기업의 60%가 AI·데이터 거버넌스 강화를 우선 과제로 꼽은 것도 같은 맥락으로 읽혀요. 누가 정의를 바꿀 수 있는지, 에이전트가 어떤 데이터까지 볼 수 있는지, 어떤 조치는 사람 승인을 거쳐야 하는지. 이걸 정하는 게 거버넌스의 몫이니까요. 개인적으로는 거버넌스(60%)가 시맨틱 레이어(45%)보다 더 많이 꼽힌 게 순서상으로도 맞다고 봐요. 정의를 누가 책임질지가 먼저 정해져야 그 정의를 레이어에 올릴 수 있으니까요.

인사이트가 쏟아질수록 실행은 오히려 줄어든다

인사이트는 많을수록 좋을 것 같죠. 조사 결과는 반대쪽을 가리켜요. 조사 대상 기업의 52%가 분석 에이전트가 인사이트를 너무 많이 만들어 내서 제대로 평가하고 실행에 옮기기 어렵다고 답했어요. 모든 에이전트 인사이트를 평가할 수 있다는 기업은 24%에 그쳤고요. 대부분은 건별로 검토하는데, 그 과정이 사람 손을 많이 타는 방식이에요.

이게 품질 문제와 엮이면 악순환이 돼요. 인사이트가 쏟아지면 검토자는 일부만 골라 볼 수밖에 없어요. 걸러지지 않은 인사이트 중 쓸 만한 건 묻히고, 틀린 건 자동화 흐름을 타고 그대로 실행될 위험이 생기죠. 평균 48%라는 숫자도 그래서 조심해서 읽는 게 좋아요. 나머지가 전부 틀린 인사이트라고 단정하기보다는, 평가조차 받지 못하고 흘러가 버린 인사이트가 섞여 있을 가능성을 같이 보는 게 맞아 보여요. 응답 기업의 과반(52%)이 인사이트가 너무 많아 다 평가하지 못한다고 답했으니까요.

인사이트 과잉을 줄이는 방향은 크게 세 갈래로 생각해 볼 수 있어요. 사람이 볼 양을 줄이고, 볼 것과 흘려보낼 것을 나누고, 결과를 남기는 거예요.

• 우선순위 기준 부여: 금액 영향, 고객 영향, 긴급도처럼 회사가 중시하는 기준으로 에이전트가 인사이트에 점수를 매기게 하고, 기준에 못 미치는 건 묶음 요약으로만 받기
• 처방적 인사이트 분리: 행동을 촉발하는 인사이트는 별도 대기열로 보내 사람이 승인하게 하고, 기술적 인사이트는 참고용으로 흘려보내기
• 결과 추적: 어떤 인사이트가 실행됐고 실제 개선으로 이어졌는지 기록해서, 에이전트 설정과 지시문을 고치는 근거로 쓰기

세 번째 방법은 그 자체로 좋은 품질 지표가 돼요. 보고서가 쓴 ‘사업 개선으로 이어진 인사이트 비율’을 사내 지표로 그대로 가져오면, 에이전트 도입 효과를 감이 아니라 숫자로 관리할 수 있어요. 보고서의 평균 48%와 견줘 보고 싶은 마음도 들 텐데, ‘사업 개선’을 어떤 방식으로 측정했는지는 아직 공개되지 않았어요. 직접 비교보다는 우리 회사 숫자의 추이를 보는 데 쓰는 편이 안전해요.

국내 데이터팀에 대입해 보면 달라질 것들

공개된 보고서 요약에는 국내 기업 결과가 따로 나와 있지 않고, 조사 대상 국가 구성도 밝혀져 있지 않아요. 그래서 아래 내용은 보고서의 결론을 국내 환경에 대입해 본 추측이라는 점부터 짚고 갈게요.

• 한국어 용어 매핑 작업이 늘어날 수 있어요(추측). 사내에서 ‘거래액’, ‘매출’, 영문 약어가 뒤섞여 쓰이는 경우가 적지 않죠. 자연어로 질문을 받는 에이전트가 이걸 같은 지표로 알아듣게 하려면 시맨틱 레이어에 동의어까지 정리해 둬야 해요.
• 스프레드시트 보고서 중심 조직이라면 정의 정리부터 시작해야 할 가능성이 커요(추측). 지표 계산 로직이 담당자별 수식에 흩어져 있으면, 에이전트가 참고할 공식 정의 자체가 없는 셈이니까요.
• 데이터팀의 역할이 ‘보고서 제작’에서 ‘정의와 규칙 관리’로 옮겨 갈 수 있어요(추측). 반복 분석을 에이전트가 맡을수록, 사람에게는 에이전트가 참조할 맥락을 설계하고 결과를 검증하는 일이 더 많이 남기 때문이에요.
• 처방적 인사이트를 자동 실행에 연결하기 전에, 승인 절차와 책임 소재를 정하는 내부 규정이 먼저 필요해 보여요. 잘못된 조치가 평판·재무 손해로 번질 수 있다는 지적은 어느 나라 기업에나 똑같이 해당되니까요.

확인된 것과 아직 불확실한 것

확인된 것

• 조사 대상 기업에서 사업 개선으로 이어진 에이전트 인사이트 비율 평균 48%, 응답자가 밝힌 1년 전 평균 37%
• 인사이트 리더 그룹은 이 비율이 70% 초과, 처방적 인사이트 품질에서 전체 응답자와 격차가 특히 큼
• 품질 저하 원인으로 비즈니스 맥락 부족 55%, 파편화되거나 접근하기 어려운 데이터 45%
• 인사이트가 너무 많아 평가·실행이 어렵다는 기업 52%, 모든 인사이트를 평가하는 기업 24%
• 개선 과제로 AI·데이터 거버넌스 강화 60%, 시맨틱 레이어 추가 45%
• 보고서 제작 주체는 MIT 테크놀로지 리뷰 편집국이 아닌 커스텀 콘텐츠 조직 인사이츠

아직 불확실한 것

• 설문 응답 기업 수와 업종·국가 구성
• ‘인사이트 리더’ 그룹의 규모와 선정 기준
• ‘사업 개선’ 여부를 판단한 측정 방식과 응답자 자체 평가 여부
• 보고서 후원 기업 존재 여부
• 시맨틱 레이어 도입 기업과 미도입 기업의 성과를 직접 비교한 수치
• 국내 기업에서 같은 경향이 나타나는지 여부

에이전트 붙이기 전, 지표 정의부터 맞추는 다섯 단계

1. 자주 묻는 핵심 지표부터 정의 합의하기: 매출, 활성 고객, 이탈처럼 자주 쓰는 지표를 부서별로 어떻게 계산하는지 모은 다음, 회사 공식 정의를 하나로 정해 문서로 남겨요. 모든 지표를 한 번에 끝낼 필요는 없어요. 에이전트에 가장 먼저 맡길 업무에 쓰이는 지표부터 시작하는 게 현실적이에요.
2. 데이터 접근 경로 정리하기: 에이전트가 봐야 할 데이터가 어느 시스템에 있는지, 권한은 누가 주는지 지도를 그려요. 접근할 수 없는 데이터가 있다면 에이전트가 답변에 그 사실을 밝히도록 지시해 두는 것도 방법이에요. 앞에서 말한 ‘빠진 줄도 모르는 데이터’ 문제를 줄여 주는 장치죠.
3. 시맨틱 레이어에 정의 등록하기: 합의된 정의와 동의어를 시맨틱 레이어에 넣고, 에이전트가 원천 테이블을 직접 조합하기보다 이 계층을 거쳐 조회하도록 연결해요. 1단계 합의를 건너뛰고 여기로 오면, 잘못된 정의가 모든 도구에 퍼지는 문제가 그대로 생겨요.
4. 처방적 인사이트에 승인 단계 두기: 비용이 들거나 고객에게 직접 닿는 조치는 사람이 승인한 뒤 실행되게 하고, 위험이 낮은 조치부터 자동화 범위를 넓혀 가요.
5. 인사이트 성과 기록하기: 인사이트별로 실행 여부와 결과를 남겨서 ‘개선으로 이어진 비율’을 주기적으로 확인해요. 이 비율이 오르지 않는다면 에이전트 성능보다 맥락과 데이터 쪽을 먼저 의심해 볼 만해요.

순서를 이렇게 잡는 이유는 단순해요. 맥락이 정리되지 않은 상태에서 에이전트부터 붙이면 인사이트 양은 늘어도, 믿고 실행할 만한 인사이트는 늘지 않아요. 인사이트 리더 그룹의 70% 초과와 전체 평균 48% 사이의 격차도 같은 방향을 가리키고요. 품질을 가르는 건 얼마나 똑똑한 에이전트를 쓰느냐보다, 그 에이전트에 회사의 맥락을 얼마나 정확하게 건네느냐예요. 모델 교체를 고민하기 전에 매출 정의 한 줄부터 맞춰 보라고 권하는 것도 그래서예요.

출처: MIT Tech Review AI