“기술은 도구일 뿐이다. 쓰는 사람에 따라 달라진다.” 이 논리, 반박하기 어렵다. 칼은 요리에도 쓰이고 흉기가 되기도 하니까. 문제는 AI가 그 논리의 전제를 조용히 무너뜨리고 있다는 점이다. 알고리즘은 선택을 유도하고, 채용 시스템은 이력서를 걸러내고, 대출 심사 AI는 신용을 판단한다. 이 과정에서 ‘중립’은 어디 있을까. 사실 없다.
기술 중립성 논란, 생각보다 오래된 싸움이다
이 논쟁은 어제오늘 일이 아니다. 산업혁명 때부터 이어진 질문이다. 기계가 일자리를 빼앗는 건 기계 탓인가, 자본가 탓인가. 기술 자체의 문제냐, 그걸 배치한 사람의 문제냐. 미디어 이론가 마셜 매클루언이 “미디어는 메시지다”라고 했을 때, 그는 전달 수단 자체가 내용을 바꾼다는 걸 말하고 싶었다. 기술이 그냥 파이프라인이 아니라는 뜻이다.
- 중립성 옹호론: 기술은 의도 없는 도구다. 총이 사람을 죽이는 게 아니라 방아쇠를 당기는 손이 죽이는 거라는 논리다. 기술에 윤리를 들이대는 건 범주 오류라는 입장.
- 중립성 비판론: 기술은 만들어질 때부터 특정 가치관과 목적을 담는다. 일단 세상에 나오면 개발자 의도와 무관하게 굴러간다. 그 여파가 예측 불가능하다는 게 문제다.
어느 쪽이 맞는지는 상황마다 다르다. 하지만 AI로 오면 얘기가 달라진다. 기존 기술과는 차원이 다른 문제가 생긴다.
AI가 기존 논쟁을 뒤집는 이유
증기기관은 인간의 팔다리를 대체했다. 컴퓨터는 계산을 대신했다. AI는 판단을 한다. 이 차이가 크다. 딥러닝 기반 모델은 개발자도 “왜 이 결정을 내렸냐”고 물으면 답을 못 하는 경우가 허다하다. 블랙박스 문제다. 내가 뭔가를 만들었는데 그게 왜 그렇게 작동하는지 모른다면, 그걸 도구라고 부를 수 있을까.
- 자율적 판단: 자율주행차가 사고를 냈을 때 책임은 누구에게 있나. 운전자? 제조사? 알고리즘? 아직 법적으로도 정리가 안 됐다.
- 예측 불가능성: AI는 학습 데이터가 쌓일수록 진화한다. 초기 설계 의도를 벗어난 행동을 하는 건 이미 여러 사례에서 확인됐다.
- 사회적 편향 증폭: 데이터에 편견이 있으면 모델도 편견을 배운다. 그 편견을 수백만 건의 결정에 적용하면, 편견이 제도화된다.
수동적인 도구가 아니다. 사회에 능동적으로 작용하는 시스템이다. “그냥 도구야”라는 말로 넘어가기가 어려워진 이유다.
편향성, 불투명성, 통제 불능: AI 윤리 문제 핵심 3가지
AI 윤리 문제는 크게 세 갈래로 나뉜다. 각각 독립적인 것 같지만 실제로는 서로 엮여 있다.
- 편향성 (Bias): 아마존이 채용 AI를 폐기한 건 유명한 사례다. 남성 이력서 위주로 학습하다 보니 여성 지원자를 자동 감점했다. 대출 심사 AI가 특정 우편번호 지역 거주자에게 불리하게 작동하는 것도 같은 구조다. 학습 데이터의 문제가 결과의 차별로 이어진다.
- 불투명성 (Explainability): “왜 이 사람 대출이 거절됐나요?”라고 물었을 때 AI가 설명을 못 한다면, 이의를 제기할 수가 없다. 오류가 생겨도 어디서 났는지 추적이 안 된다. 책임 소재가 안개 속에 묻힌다.
- 통제 불능 (Safety): 자율 무기 시스템이 대표적이다. 교전 판단을 AI가 내리는 순간, 인간이 개입할 여지가 사라진다. 기업 의사결정 AI도 마찬가지다. 특정 목표 달성을 위해 최적화된 시스템에서 인간적 판단이 끼어들 틈은 좁다.
세 문제 모두 결국 같은 질문으로 귀결된다. “이 기술을 누가 책임지나.”
AI 윤리, 선택지가 아니다
기업들이 AI 윤리 가이드라인을 앞다투어 발표하는 건, 착해서가 아니다. 안 하면 규제가 온다. EU AI Act는 이미 발효됐고, 고위험 AI 시스템에 대한 요구사항이 점점 구체화되고 있다. 윤리를 선제적으로 적용하는 게 장기적으로 비용이 덜 든다는 계산이 깔려 있다.
- 신뢰 확보: AI 시스템이 편향되거나 불투명하다는 인식이 퍼지면, 사용자 이탈로 직결된다. 신뢰는 기능보다 더 천천히 쌓이고, 더 빠르게 무너진다.
- 사회적 책임: 개발자 개인도 자유롭지 않다. 내가 만든 시스템이 누군가에게 불이익을 준다면, 그 구조를 알고도 출시했다면, 책임 문제가 생긴다.
- 규제 준수: 지금은 가이드라인 수준이지만, 방향은 명확하다. 강제성이 강해지기 전에 내재화해두는 게 낫다.
AI 윤리는 기술이 어떤 방향으로 나아가야 하는지를 잡아주는 기준점이다. 이게 없으면 효율만 좇다가 엉뚱한 곳에 도달한다.
개인이 할 수 있는 것, 사회가 해야 할 것
AI가 추천하는 정보를 그냥 받아들이는 습관은 위험하다. 알고리즘이 보여주는 뉴스피드는 내가 보고 싶은 것만 보여주도록 최적화되어 있다. 내 데이터가 어디에 쓰이는지 모르면서 서비스를 쓰는 것도 마찬가지다. 비판적으로 읽는 것, 설정을 확인하는 것, 개인정보 처리 방침을 한 번이라도 읽어보는 것. 작은 일이지만 시작점이 된다.
사회 차원에서는 더 구조적인 접근이 필요하다. AI 개발 과정의 투명성 의무화, 알고리즘 감사 제도, 피해를 입었을 때 이의를 제기할 창구. 개발자만이 아니라 사용자, 시민단체, 정책입안자가 설계 단계부터 참여하는 구조가 필요하다. 잠재력을 살리면서 위험을 줄이는 균형점은 저절로 생기지 않는다.
결국 기술이 아니라 우리가 문제다
AI가 인류에게 더 나은 미래를 줄지, 새로운 불평등을 만들지는 기술 자체의 문제가 아니다. 이 기술을 어떻게 이해하고, 어떤 기준으로 설계하고, 누가 감시하느냐의 문제다. “기술은 중립이다”는 말은 책임을 회피하는 데 너무 편리하게 쓰인다. AI는 중립이 아니다. 만드는 사람의 선택이 담겨 있고, 그 선택의 결과가 사회에 반영된다. 그걸 인식하는 것부터가 책임감 있는 태도의 시작이다.