기업 10곳 중 8곳이 AI 에이전트를 검토 중이거나 이미 쓰고 있다고 답했다. 실험 단계는 진작에 지났다는 뜻이다. 근데 진짜 문제는 그 다음부터다. 도입은 했는데, 기대했던 성과가 안 나온다는 하소연이 여기저기서 들린다. 원인을 하나씩 파고 들어가 보면 결국 한 지점에서 막힌다. 데이터.
챗봇이랑 뭐가 다른데?
AI 에이전트랑 챗봇을 같은 걸로 착각하는 사람, 생각보다 많다. 챗봇은 물어보면 답만 한다. 에이전트는 다르다. 스스로 판단하고, 여러 단계를 거쳐 실제로 일을 처리한다.
- 고객 문의를 읽고 환불 규정 확인한 다음, 진짜로 환불까지 처리
- 재고 데이터 조회해서 부족한 품목을 발주 시스템에 자동 등록
- 코드 저장소 뒤져서 버그 찾고 수정안까지 작성
핵심은 행동이다. 대답만 던지고 끝나는 게 아니라 실제 시스템을 건드린다. 이 지점에서 챗봇과는 완전히 다른 물건이 된다.
데이터가 왜 생사여탈권을 쥐고 있나
에이전트가 알아서 움직인다는 건 양날의 검이다. 데이터가 정확하면 업무 속도는 몰라보게 빨라진다. 근데 데이터가 틀렸거나 오래됐으면? 그 오류가 그대로 실행된다. 챗봇이 이상한 답을 뱉으면 사람이 걸러내고 넘어가면 그만이다. 에이전트는 걸러낼 틈도 없이 주문을 넣고, 이메일을 보내고, 시스템 값을 바꿔버린다. 되돌리기 번거로운 일들이다.
MIT 테크놀로지 리뷰가 짚은 대로, 에이전트 프로젝트의 ROI는 모델 성능보다 데이터 인프라 쪽에 달려 있는 경우가 많다고 한다. 아무리 좋은 모델을 붙여놔도 참조하는 데이터가 사일로에 갇혀 있거나 갱신이 느리면, 결과물은 부실할 수밖에 없다. 모델 탓이 아니라는 얘기다.
도입한 기업들, 다 이 벽에 걸린다
실제 사례를 뜯어보면 패턴이 비슷하다.
- 데이터 사일로 — 부서마다 다른 시스템에 데이터가 흩어져 있어서 에이전트가 전체 그림을 못 본다
- 신선도 부족 — 하루 한 번 배치로 갱신되는 데이터를 실시간 판단에 쓰다 보니 엇박자가 난다
- 권한 관리 공백 — 누가 어떤 데이터에 접근해서 뭘 했는지 추적이 안 되는 경우가 태반이다
이 셋 중 하나만 걸려도 프로젝트는 파일럿 단계에서 멈춘다. 셋 다 걸리면? 말할 것도 없다.
믿고 쓸 만한 데이터 인프라, 조건은 네 가지
에이전트를 실전에 투입하려면 최소 이 네 가지는 갖춰야 한다.
- 정확성 — 출처가 검증된 데이터, 중복이나 오류 없는 값
- 접근성 — API나 MCP(Model Context Protocol) 같은 표준 연동으로 여러 시스템을 한 창구에서 조회
- 거버넌스 — 누가 뭘 봤고 뭘 바꿨는지 남는 감사 로그, 세밀한 권한 설정
- 실시간성 — 재고, 가격, 상태값처럼 자주 바뀌는 데이터는 최소 몇 분 단위로 갱신
개인적으로 이 넷 중에서 거버넌스를 제일 늦게 챙기다가 뒤통수 맞는 조직, 진짜 많이 봤다. 초반엔 다들 정확성이랑 속도에만 매달린다. 그러다 에이전트가 잘못된 권한으로 민감 데이터를 건드리는 사고가 한 번 터지면, 그제서야 부랴부랴 손보기 시작한다. 순서가 항상 거꾸로다.
도입 전에 체크해야 할 것들
실무에서 바로 써먹을 수 있는 점검 항목이다.
- 에이전트가 접근할 데이터 소스 목록, 전부 파악했는가
- 각 데이터의 갱신 주기와 신뢰도를 알고 있는가
- 잘못된 행동을 했을 때 되돌릴 롤백 절차가 있는가
- 사람이 최종 승인해야 하는 액션과 자동 실행해도 되는 액션, 구분해뒀는가
- 파일럿 성공 여부를 판단할 명확한 KPI(처리 시간, 오류율, 비용 절감액 등)를 세웠는가
결국 남는 조직과 사라지는 조직
성과 낸 조직들 보면 접근 방식이 비슷하다. 전사 도입부터 밀어붙이지 않는다. 반복 업무 하나 골라서 좁게 시작한다. 그 안에서 데이터 파이프라인 다듬고 거버넌스 체계 검증한 다음에야 범위를 넓힌다. 처음부터 완벽한 데이터 인프라 갖추고 시작하는 조직, 거의 없다. 작은 실패를 빨리 겪고 고쳐나가는 속도. 그게 결과를 가른다.
궁금할 만한 것들
Q. AI 에이전트 도입에 꼭 대규모 데이터팀이 필요한가?
아니다. 소규모 팀도 데이터 소스를 3~4개로 좁혀서 시작하면 충분히 검증 가능하다. 규모보다 데이터 정합성 체크 프로세스가 있느냐가 관건이다.
Q. RAG(검색증강생성)만 잘 구축하면 데이터 문제는 해결되나?
RAG는 참조용 데이터를 잘 찾아오는 기술이다. 그 데이터 자체의 정확성이나 신선도까지 보장해주는 건 아니다. 소스 데이터 관리가 먼저다.
Q. 기존 챗봇 시스템에서 에이전트로 넘어갈 때 뭐부터 바꿔야 하나?
권한 체계부터 다시 짜는 걸 추천한다. 챗봇은 답변만 하지만 에이전트는 실행 권한을 갖는다. 기존의 느슨한 접근 제어를 그대로 가져가면, 사고 확률이 확 올라간다.
AI리서치팀
Daily News Korea AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.