역게임이론, 규칙 준수가 이득인 AI 에이전트 설계

케이크 하나에 사람 둘. 한 사람이 자르고 다른 사람이 먼저 고른다. 이 규칙 하나만 있으면 자르는 사람은 누가 지켜보지 않아도 최대한 똑같이 자르려고 애쓴다. 한쪽을 크게 잘라 봤자 그 조각은 상대가 가져갈 테니까. 지켜보는 사람도 벌칙도 없고, 상대의 양심에 기댈 필요도 없다. 공정한 결과를 만든 건 규칙의 순서다.

MIT 테크놀로지 리뷰는 이 논리를 강력한 AI 모델 통제에 끌어오려는 접근을 ‘역게임이론(reverse game theory)’이라는 이름으로 소개했다. AI 에이전트에게 하지 말아야 할 일을 하나씩 금지하는 대신, 규칙을 지키는 쪽이 에이전트 자신에게 가장 유리해지도록 시스템을 설계하자는 발상이다. 에이전트를 착하게 만들자는 게 아니다. 규칙을 지키는 선택이 손해가 되지 않는 판을 까는 게 목표다.

게임이론이 행동을 맞힌다면, 역게임이론은 규칙을 짠다

출발점은 게임이론이다. 규칙이 이미 정해진 상황에서 합리적인 행위자들이 어떻게 움직일지 예측하는 이론이다. 각 참여자가 자기 이익을 최대화한다고 가정하고, 모두가 상대의 선택을 고려했을 때 더는 전략을 바꿀 이유가 없는 지점을 찾는다. 결국 던지는 질문은 하나. ‘이 규칙이라면 사람들은 어떻게 행동할까’.

역게임이론은 이 질문을 거꾸로 세운다. 얻고 싶은 결과를 먼저 못 박아 두고, 참여자들이 각자 자기 이익만 좇아도 그 결과에 도착하도록 규칙을 설계한다. 학계에서는 메커니즘 설계(mechanism design)라는 이름이 더 익숙하다. 경매 방식, 입찰 제도, 보상 체계처럼 참여자마다 손익을 계산하는 상황에서 원하는 결과를 끌어내야 하는 제도 설계에 쓰여 온 분야다. 완전히 새로운 개념이 튀어나왔다기보다는, 제도 설계에서 써 오던 도구를 AI라는 새 참여자에게 대 보는 시도에 가깝다.

여기서 꼭 챙겨 둘 용어가 하나 있다. 유인 부합성(incentive compatibility). 규칙을 따르거나 정직하게 행동하는 것이 참여자 본인에게도 최선의 전략이 되는 상태를 말한다. 이게 성립하면 설계자가 참여자를 일일이 들여다볼 필요가 줄어든다. 참여자가 혼자 계산기를 두드려 봐도 규칙을 지키는 쪽이 답으로 나오기 때문이다. 메커니즘 설계가 노리는 지점이 정확히 여기다.

케이크 규칙 하나에 설계 원리 세 개가 들어 있다

예시는 단순해 보여도 메커니즘 설계의 뼈대가 거의 다 들어 있다. 하나씩 뜯어보자.

• 공정성은 감시가 아니라 구조에서 나온다. 자르는 사람을 지켜보는 눈도, 불공정하게 잘랐을 때 벌을 줄 장치도 없다. 그런데도 결과는 공정하다. 규칙의 순서가 불공정한 행동을 곧바로 본인 손해로 바꿔 버리기 때문이다.
• 이해관계가 다른 상대가 곧 견제 장치다. 고르는 사람은 큰 조각을 원하고, 바로 그 욕심이 자르는 사람을 붙잡아 둔다. 심판을 따로 세우지 않고 참여자들의 이해관계를 톱니처럼 맞물려 놓은 구조.
• 선의를 가정하지 않는다. 자르는 사람이 욕심쟁이여도 결과는 그대로다. 오히려 자기 이익을 정확히 계산하는 사람일수록 더 정확하게 반으로 자른다. 행위자가 합리적일수록 규칙이 더 잘 돌아간다는 뜻인데, 개인적으로는 이 대목이 제일 흥미롭다. 착한 AI를 기대할 필요 없이 계산 잘하는 AI를 전제로 깔고 설계할 수 있다는 얘기니까.

다만 이 규칙 밑에는 눈에 잘 안 띄는 전제가 세 개 깔려 있다. 먼저 두 사람 모두 케이크를 더 많이 갖고 싶어 해야 한다. 목표가 분명해야 한다는 뜻이다. 고르는 사람이 두 조각 크기를 눈으로 비교할 수 있어야 한다는 것도 전제다. 그리고 누구도 규칙을 무시하고 케이크를 통째로 들고 나가 버릴 수 없어야 한다. 이름을 붙이면 목표의 명확성, 정보의 가시성, 규칙의 강제력. AI 에이전트에 이 방식을 대입할 때 논쟁이 붙는 곳도 딱 이 세 군데다. 뒤에서 다시 꺼낼 테니 기억해 두자.

AI 에이전트에겐 금지 목록 대신 유인 구조를

AI 에이전트는 목표를 받으면 여러 단계의 작업을 스스로 계획하고 실행하는 AI다. 능력이 커질수록 사람이 그 모든 단계를 직접 확인하기는 어려워진다. 지금 흔히 쓰는 통제 방식은 지시문과 정책으로 ‘하면 안 되는 행동’을 정해 두고 위반을 감시하는 것이다. 한계는 분명하다. 금지 목록에 없는 행동은 못 막는다. 에이전트가 목표를 달성하려고 규칙의 빈틈을 파고들 여지도 그대로 남는다. 목록을 아무리 길게 늘려도 목록 바깥의 행동은 늘 남기 마련이다.

역게임이론은 방향 자체를 튼다. 에이전트가 목표를 좇는 경로와 사람이 정한 규칙을 지키는 경로가 같은 길이 되도록 판을 짠다. 연구자들은 이렇게 하면 AI를 사람의 규칙과 지시에 더 가깝게 정렬할 수 있다고 본다. 메커니즘 설계의 일반 원리를 에이전트 환경에 옮겨 보면 대략 이런 모양을 떠올릴 수 있다. 미리 말해 두면, 특정 연구가 제안한 설계안이 아니라 원리를 대입해 본 예시다.

• 생성과 선택의 분리: 한 에이전트가 작업 결과나 계획을 만들고, 목표가 다른 에이전트나 사람이 그중 무엇을 채택할지 고른다. 케이크를 자르는 쪽과 고르는 쪽을 갈라놓은 구조 그대로다.
• 정직한 보고가 유리한 평가: 작업 실패나 불확실성을 숨기고 성공한 척 보고할 때보다, 솔직하게 털어놓을 때 평가가 더 좋게 나오도록 보상 기준을 짠다.
• 지름길이 손해가 되는 지표: 평가 점수만 끌어올리고 실제 목적은 달성하지 않는 행동이 결국 더 낮은 평가로 돌아오도록, 지표를 여러 겹으로 설계한다.

셋 다 에이전트에게 ‘이건 하지 마’를 늘어놓지 않는다. 규칙을 어기는 선택이 에이전트 자신의 계산에서 밑지는 장사가 되게 만들 뿐이다. 금지 목록이 바깥에 울타리를 치는 방식이라면, 이쪽은 울타리 안쪽에 머무는 편이 더 이득이 되게 만드는 방식이다.

목표·정보·강제력, 실전에서 걸리는 세 지점

연구자들의 기대와는 별개로, 이런 메커니즘이 실제로 돌아갈지에는 아직 큰 물음표가 붙어 있다. 케이크 예시에서 꺼내 둔 세 전제를 AI에 하나씩 대 보면 어디서 걸리는지가 보인다.

목표의 명확성. 메커니즘 설계는 행위자가 무엇을 원하는지 설계자가 안다는 전제에서 출발한다. 사람이 케이크를 원한다는 건 누가 봐도 분명하다. AI 모델은 사정이 다르다. 모델이 실제로 무엇을 최적화하는지는 학습 과정에서 형성되고, 설계자의 의도와 어긋날 수 있다. 상대가 뭘 원하는지 정확히 모르면서 그 욕구를 이용한 유인을 정확히 설계하기란 어렵다. 셋 중 가장 근본적인 장벽을 꼽으라면 이거다. 나머지 둘은 검토 구조나 권한 장치로 보강해 볼 여지라도 있지만, 목표를 모르면 판을 어떻게 짤지부터 막힌다.

정보의 가시성. 케이크 조각은 눈으로 비교하면 끝이다. 에이전트가 작성한 코드나 처리한 데이터는 다르다. 결과를 받아 든 사람이 품질을 바로 판단하기 어려운 경우가 많다. 코드 리뷰를 한 번이라도 해 봤다면 무슨 말인지 감이 올 거다. 검토 역할을 다른 AI 에이전트에게 맡기면 판단 속도는 빨라진다. 대신 생성 쪽과 검토 쪽이 같은 방식으로 틀리거나, 서로에게 유리한 쪽으로 맞춰질 가능성까지 따져야 한다. 사람 사이의 제도 설계에서도 담합은 메커니즘을 무력화하는 대표적인 문제로 꼽힌다. 검토자가 생성자 편에 서는 순간, 고르는 쪽이 견제 장치라는 전제가 통째로 무너진다.

규칙의 강제력. 케이크 규칙은 누구도 케이크를 통째로 들고 갈 수 없을 때만 의미가 있다. 에이전트가 주어진 권한을 넘어 평가 방식 자체를 바꿔 버리거나 규칙 바깥에서 목표를 달성할 수 있다면, 판을 아무리 정교하게 짜도 헛수고다. 그래서 역게임이론은 기존 통제 수단을 갈아치우기보다 권한 제한, 실행 기록 같은 장치 위에 한 겹 더 얹는 식으로 쓰일 가능성이 높아 보인다. 유인 설계가 그럴듯해 보인다고 기존 장치를 걷어낼 이유는 없다.

국내 사용자에겐 설정이 아니라 관점이 바뀐다

국내 사용자가 쓰는 AI 서비스의 메뉴나 설정 화면에서 이 개념을 직접 마주칠 일은 당분간 없을 것으로 보인다. 역게임이론이 아직 연구 단계의 접근이라서다. 바뀌는 건 기능이 아니라 에이전트를 다루는 관점 쪽이다.

업무 자동화에 AI 에이전트를 쓰는 개인이나 팀이라면 케이크 구조를 작업 흐름에 그대로 빌려 올 수 있다. 초안을 만드는 단계와 검토하는 단계를 나누고, 검토 단계에는 초안을 만든 쪽과 다른 기준을 쥐여 준다. 에이전트에게 결과만 받지 말고 근거와 실패한 부분을 함께 보고하게 하는 것도 방법이다. 그러면 사람이 조각 크기를 비교할 수 있는 정보가 늘어난다. 앞에서 본 정보의 가시성 문제를 작게나마 메우는 효과다. 연구 결과를 기다릴 필요 없이 작업 순서와 지시 방식만 바꿔도 해 볼 수 있는 일들이다.

에이전트 기반 서비스를 만드는 개발자에게는 평가 지표 설계의 무게가 커진다. 에이전트가 최적화하는 지표가 의도하지 않은 지름길을 부추기고 있지는 않은지, 여러 에이전트가 협업하는 구조에서 서로 견제가 제대로 걸리는지를 설계 단계에서 점검해야 한다. 기능을 다 만들어 놓고 지표는 나중에 붙이는 습관이 있다면, 이 관점에서는 순서가 거꾸로다. 원하는 결과부터 정하고 규칙을 짜는 게 메커니즘 설계의 출발점이니까.

이런 설계 원리가 AI 안전 기준이나 기업 내부 검증 절차 논의에 반영될 가능성도 있지만, 이는 추측이다.

확인된 것과 아직 불확실한 것

확인된 것

• 역게임이론은 원하는 행동을 끌어내도록 규칙을 설계하는 접근으로, 주어진 규칙에서 행동을 예측하는 게임이론과 방향이 반대다.
• 강력한 AI 모델이 규칙을 지키도록 유인하는 시스템을 설계해 AI를 통제하려는 새로운 접근으로 소개됐다.
• 연구자들은 이 방식이 AI를 사람의 규칙과 지시에 더 가깝게 정렬할 수 있다고 본다.
• 대표 예시는 한 사람이 자르고 다른 사람이 먼저 고르는 케이크 나누기 규칙이다.

아직 불확실한 것

• 이런 메커니즘의 실제 작동 여부
• 대형 AI 모델에 적용한 구체적 설계안과 검증 결과
• AI 모델이 실제로 최적화하는 목표를 설계자가 파악하는 방법
• 검토 역할을 맡은 AI 에이전트 간 담합의 차단 방법
• 상용 AI 에이전트 서비스에 적용되는 시점과 방식

에이전트에게 일 맡기기 전, 이 다섯 가지는 물어보자

역게임이론을 연구 수준으로 구현하지 않더라도, 에이전트에게 일을 맡기는 구조를 점검하는 체크리스트로는 지금 바로 쓸 만하다.

1. 에이전트가 높이려는 지표는 무엇이고, 그 지표를 가장 쉽게 높이는 방법이 규칙 위반은 아닌가.
2. 결과를 만드는 주체와 고르는 주체가 분리돼 있고, 둘의 이해관계가 서로 다른가.
3. 실패나 불확실성을 보고하는 쪽이 숨기는 쪽보다 유리한 구조인가.
4. 검토하는 쪽이 결과물의 품질을 실제로 비교할 수 있는 정보를 받는가.
5. 유인 설계가 빗나가도 피해를 막을 권한 제한과 실행 기록이 있는가.

앞의 네 개는 판을 어떻게 짤지에 관한 질문이다. 마지막 하나는 판이 무너졌을 때를 대비한 보험이고. 역게임이론이 요구하는 건 금지 조항을 더 쌓는 일이 아니다. 규칙을 지키는 선택이 가장 계산이 맞는 선택이 되게 만드는 일이다. 그래도 그 판을 벗어날 수 없게 하는 울타리는 여전히 따로 세워야 한다. 판을 잘 짜는 일과 판 밖으로 못 나가게 막는 일, 어느 한쪽만으로는 모자라다.

출처: MIT Tech Review AI

AI리서치팀

Daily News Korea AI리서치팀은 인공지능, 머신러닝, 생성형 AI의 최신 동향과 실용적 활용법을 연구합니다. ChatGPT, 클로드, 미드저니 등 AI 도구 비교 분석과 활용 가이드를 제공합니다.