AI 에이전트를 딱 하나만 만들어서 조용히 돌리는 기업, 사실 별로 없다. 고객 응대 에이전트를 하나 세워두면 어느새 티켓 요약 에이전트가 옆에 붙고, 그 결과값을 받아 결제 시스템까지 손대는 에이전트가 또 하나 따라붙는다. 진짜 문제는 에이전트 개수가 아니다. 그 사이를 오가는 연결선, 이게 골칫거리다. 에이전트가 2개면 연결 경로는 딱 1개지만, 10개로 늘어나는 순간 경로는 수십 개로 불어난다. 에이전트 여러 개를 굴리는 조직이라면 반드시 짚고 넘어가야 할 개념과 점검 항목, 정리해봤다.
AI 에이전트 거버넌스, 정확히 뭘 말하는 걸까
AI 에이전트 거버넌스란 조직 안에서 자율적으로 움직이는 소프트웨어 에이전트가 어떤 시스템에 접근할 수 있고, 어떤 행동을 할 수 있으며, 문제가 터졌을 때 누가 책임지는지를 정의하고 관리하는 체계다. 사람 직원을 채용하면 접근 권한을 부여하고 직속 상사를 정해주듯, 에이전트에도 똑같은 절차가 필요하다는 얘기다. 다만 사람과 결정적으로 다른 게 하나 있다. 속도. 에이전트는 하루에도 수천 번씩 판단을 내리고, 그 판단 하나하나가 다른 에이전트를 연쇄적으로 불러낸다.
에이전트 숫자보다 연결 경로가 문제인 이유
에이전트를 하나 늘릴 때마다 시스템 복잡도가 산술급수로 늘어난다고 생각하기 쉬운데, 실제로는 그렇지 않다. 에이전트 A와 B만 있으면 서로 호출하는 경로는 1개뿐이다. 하지만 여기에 에이전트를 하나둘 추가하면 어떤 에이전트가 어떤 에이전트를 부를 수 있는지, 그 조합의 수가 기하급수적으로 늘어난다. 예전엔 시스템 하나만 거치던 고객 문의가 지금은 4개 에이전트를 거쳐야 사람 눈에 들어올 때도 있다. 그 중간 단계마다 아무도 승인하지 않은 결정이 조용히 내려지는 셈이다.
권한 크리프, 조용히 쌓이는 위험
흔한 시나리오 하나 소개하면 이렇다. 누군가 지원 티켓을 요약하는 에이전트를 만들면서, 세부적으로 권한을 나누기가 번거로워 일단 API 접근 권한을 넓게 열어준다. 몇 달 뒤 그 에이전트는 결제 시스템까지 닿을 수 있는 경로를 갖게 되는데, 정작 그 사실을 아는 사람은 아무도 없다. 승인한 적이 없으니까. 생각해보면 좀 섬뜩한 얘기다. 보안팀에 ‘어떤 에이전트가 어떤 시스템에 접근할 수 있냐’고 물으면 바로 답이 안 나오는 조직, 생각보다 많다. 세 단계 전에 어떤 에이전트가 무슨 행동을 촉발했는지 물으면? 더더욱 답이 안 나온다.
- 에이전트를 만들 때 필요한 범위보다 넓게 권한부터 열어주는 습관
- 운영 중 권한이 확장돼도 다시 들여다보지 않는 프로세스 부재
- 워크플로가 길어질수록 흐려지는 책임 소재
워크플로가 길어질수록 책임자가 사라진다
에이전트 5개가 얽힌 워크플로에서 네 번째 단계가 오작동했다고 치자. 그 단계를 누가 책임지냐고 물으면 대답할 사람이 없는 경우, 의외로 흔하다. 조직도는 ‘에이전트를 배포한다’까지만 정의돼 있지, ‘이 에이전트의 행동에 답할 사람은 누구인가’까지는 내려가 있지 않아서다. 결국 문제가 터지면 원인 추적에만 며칠씩 걸리는 상황이 반복된다.
에이전트에 신원을 부여하는 것부터 시작
가장 먼저 할 일은 간단하다. 에이전트 하나하나를 독립된 개체로 다루는 것. 배포한 사람의 권한을 빌려 쓰는 그림자 계정이 아니라, 자체 이름과 등록 정보를 가진 개체로 취급해야 한다는 얘기다. 구체적으로 필요한 건 아래 3가지.
- 에이전트 레지스트리에 등록된 고유한 이름과 식별자
- 업무에 필요한 범위로 제한된 권한, 즉 스코프
- 이 에이전트의 행동에 답할 수 있는 담당자 지정
다만 여기까지 해도 문제는 딱 절반만 풀린다. 개별 에이전트 서류는 완벽한데, 그 에이전트들이 얽혀서 만드는 전체 그림은 아무도 설명하지 못하는 상황, 충분히 벌어질 여지가 있다.
모니터링과 실시간 차단, 이 둘은 다르다
많은 조직이 놓치는 지점이 바로 여기다. 에이전트가 어떤 행동을 했고 그로 인해 다음에 무슨 일이 벌어졌는지 실시간으로 추적하는 체계는 필요하다. 하지만 분기에 한 번 뽑아보는 보고서로는 어림도 없다. 추적만으로는 이미 벌어진 일을 확인하는 데 그친다. 정책을 벗어난 호출이 실행되기 전에 막는 장치, 그러니까 실시간 차단이 따로 있어야 한다는 얘기다. 대시보드에 ‘5분 전 에이전트가 권한 범위를 넘어섰다’고 뜨는 건 모니터링이다. 그 호출 자체가 실행되지 못하게 막는 건 거버넌스다. 이 둘을 구분 못 하고 모니터링만 갖춘 조직, 여전히 많다.
도입 전 점검할 3가지
멀티 에이전트 시스템을 계속 늘려나가는 조직이라면 아래 항목부터 확인해볼 만하다.
- 가시성: 어떤 에이전트가 어떤 시스템에 접근 중인지 5분 안에 답할 수 있나
- 책임자 매핑: 에이전트 하나하나에 이름을 대고 답할 수 있는 담당자가 정해져 있나
- 실시간 차단: 정책 위반이 감지됐을 때 로그만 남는가, 아니면 그 자리에서 막히는가
세 질문에 다 답할 수 있다면 에이전트 숫자를 늘려도 통제력을 잃지 않는다. 반대로 하나라도 막힌다면? 파일럿 단계를 벗어나지 못하고 제자리를 맴도는 프로젝트가 될 공산이 크다. 솔직히, 여기서 대부분 갈린다.
질문 몇 개 더 받아본다면
Q. 에이전트가 몇 개부터 거버넌스를 신경 써야 할까?
A. 숫자보다 연결 관계가 기준이다. 에이전트 2~3개라도 서로 다른 시스템에 접근하며 결과를 주고받는 구조라면, 이미 신경 써야 할 시점이다.
Q. 기존 IAM(계정 및 권한 관리) 체계로는 부족할까?
A. 사람 계정 기준으로 짜인 IAM은 에이전트가 초 단위로 판단을 내리고 서로를 호출하는 속도를 따라가기 어렵다. 에이전트 전용 신원 체계와 실시간 차단 레이어가 따로 필요한 이유다.
Q. 권한을 처음부터 좁게 주면 해결되지 않을까?
A. 초기 설계는 분명 도움이 된다. 하지만 워크플로가 바뀌고 새 에이전트가 붙으면서 권한이 슬금슬금 넓어지는 건 막지 못한다. 주기적인 재검토와 실시간 감시, 이 둘이 함께 가야 한다.
출처: VentureBeat AI
AI리서치팀
Daily News Korea AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.