AI는 누구를 위해 '옳음'을 판단하는가? — 알고리즘 거버넌스의 민주주의 문제

AI 시스템이 의료 진단을 내리고, 대출 심사를 통과시키거나 거절하고, 형사 피고인의 재범 위험도를 수치화하는 시대입니다. 이 결정들이 "알고리즘이 한 것"이라는 이유로 중립적이고 객관적인 것처럼 받아들여질 때, 우리는 매우 근본적인 질문 앞에 서게 됩니다.

과연 누가 그 알고리즘에게 '옳음'의 기준을 가르쳤는가?

이 질문은 단순한 기술적 문제가 아닙니다. 그것은 민주주의, 정당성(legitimacy), 그리고 권력의 문제입니다.

역사적 선례: 규칙을 만드는 자가 세계를 만든다

한 가지 사고실험을 해보겠습니다. 19세기 말, 도시 계획가들이 철도 노선을 설계할 때 어떤 동네를 관통하고 어떤 동네를 우회할지를 결정했습니다. 그 결정은 기술적 판단처럼 보였지만, 실제로는 누가 교통 인프라의 혜택을 받고 누가 소음과 분진을 감당할지를 결정하는 정치적 행위였습니다. 도시학자 로버트 모제스(Robert Moses)의 뉴욕 고속도로 설계가 특정 인종 집단의 이동을 구조적으로 제한했다는 랭던 위너(Langdon Winner)의 분석은 이를 잘 보여줍니다.

"Artifacts have politics." — Langdon Winner, Do Artifacts Have Politics?, 1980

기술은 중립적이지 않습니다. 설계 안에 가치가 새겨져 있습니다. 오늘날의 AI 시스템은 그 오래된 진실의 가장 정교하고 가장 불투명한 버전일 뿐입니다.

현재 상황: 보이지 않는 입법자들

미국의 형사 사법 시스템에서 사용된 COMPAS(Correctional Offender Management Profiling for Alternative Sanctions) 알고리즘을 떠올려봅시다. 이 시스템은 피고인의 재범 가능성을 점수로 산출해 판사의 양형 결정에 영향을 미쳤습니다. 2016년 ProPublica의 조사는 이 알고리즘이 흑인 피고인을 백인 피고인보다 두 배 가까이 높은 비율로 "고위험"으로 분류했음을 밝혔습니다.

흥미로운 점은, 이 알고리즘을 개발한 회사 Northpointe(현 equivant)는 인종 데이터를 직접 입력하지 않았다고 주장했다는 사실입니다. 그러나 우편번호, 고용 이력, 교육 수준 같은 변수들이 인종의 대리 변수(proxy variable)로 작동했습니다. 이것은 제가 이전 분석에서 반복적으로 지적해온 구조적 편향의 전형적 사례입니다.

여기서 질문을 던져봅시다. 이 알고리즘의 '공정성' 기준은 누가 정의했는가? 그 정의에 영향을 받는 피고인들, 특히 유색인종 공동체는 그 과정에 참여했는가?

답은 명백히 "아니오"입니다.

a scale and a dollar sign on a black background

Photo by Conny Schneider on Unsplash

거버넌스의 공백: 선출되지 않은 도덕 입법자

마셜 맥루한(Marshall McLuhan)이 말했듯이, "미디어는 메시지다(the medium is the message)." AI 시스템도 마찬가지입니다. 알고리즘이 내리는 결정의 내용뿐 아니라, 알고리즘이 결정을 내린다는 구조 자체가 이미 하나의 메시지입니다. 그 메시지는 이렇게 말합니다. "이 판단은 인간의 편견이 아닌 데이터와 수학에 근거한다."

그러나 이것은 오해를 넘어 위험한 환상입니다.

현재 AI 윤리 원칙을 설계하는 주체들을 살펴보면, 그 구성이 놀라울 정도로 협소합니다. 2019년 AI Now Institute의 보고서에 따르면, AI 연구 논문 저자의 80% 이상이 남성이며, 주요 AI 기업 기술직의 다양성 지표는 여전히 매우 낮은 수준에 머물러 있습니다. 유럽연합의 AI 윤리 가이드라인, 미국의 AI 권리장전 청사진, 각 빅테크 기업의 내부 AI 원칙들은 모두 특정 문화적·경제적 맥락 안에서 소수의 전문가 집단에 의해 작성되었습니다.

이 원칙들이 전 세계에 수출될 때, 그것은 보편적 윤리처럼 포장되지만 실제로는 특정 집단의 도덕적 상상력(moral imagination)을 전 세계에 강제하는 행위일 수 있습니다.

철학자 마이클 샌델(Michael Sandel)은 도덕적 판단이 공동체의 공유된 가치에서 비롯된다고 주장합니다. 공동체마다 다른 가치를 가지고 있다면, 단일한 AI 윤리 원칙이 모든 공동체에 적용될 수 있다는 전제 자체가 흔들립니다.

세 가지 미래 시나리오

시나리오 1: 기술 패권주의의 고착

소수의 거대 기술 기업과 부유한 국가들이 AI 윤리의 표준을 사실상 독점하는 세계입니다. 이 시나리오에서 "윤리적 AI"는 실리콘밸리와 브뤼셀의 규범을 의미하게 되고, 나머지 세계는 그 기준을 수용하거나 기술 접근에서 배제되는 이분법적 선택에 직면합니다. 이것은 디지털 식민주의(digital colonialism)의 새로운 형태일 가능성이 있습니다.

시나리오 2: 파편화된 윤리 다원주의

각 국가, 문화권, 공동체가 자체적인 AI 윤리 기준을 발전시키는 세계입니다. 중국의 AI 거버넌스 모델, 유럽의 규제 중심 접근, 미국의 혁신 우선 모델이 공존하고 충돌합니다. 이 시나리오는 다양성을 존중하지만, 국경을 초월하는 AI 시스템이 어떤 기준을 따라야 하는지에 대한 근본적 혼란을 낳습니다. "AI 윤리의 발칸화(Balkanization)"라 부를 수 있겠습니다.

시나리오 3: 참여적 거버넌스의 실험

AI 시스템의 영향을 받는 당사자들이 그 설계 원칙에 실질적으로 참여하는 구조를 만들어가는 세계입니다. 이것은 기술적으로나 제도적으로 가장 어려운 경로이지만, 민주주의의 논리와 가장 일관된 방향입니다. 시민 배심원단, 알고리즘 영향평가의 공개 심의, 지역사회 기반 AI 감사(community-based AI auditing) 같은 실험들이 이미 소규모로 진행되고 있습니다.

찬반 양론: 이 문제를 어떻게 볼 것인가

기술 낙관론자들의 시각은 이렇습니다. AI 시스템은 인간의 판단보다 일관성이 높고, 피로나 감정에 영향받지 않으며, 편향을 수치화하고 수정할 수 있다는 점에서 오히려 더 공정한 판단 도구가 될 잠재력을 갖는다고 주장합니다. 알고리즘의 편향은 발견되면 수정 가능하지만, 인간 판사의 편향은 훨씬 발견하기 어렵다는 것입니다.

이 주장에는 일정한 타당성이 있습니다. 연구에 따르면 동일한 판사도 오전과 오후에 다른 판결을 내리는 경향이 있고, 피고인의 외모에 따라 양형이 달라지기도 합니다.

비판론자들의 시각은 그러나 더 근본적인 문제를 지적합니다. 알고리즘의 편향을 "수정"한다는 것은 누군가가 올바른 상태가 무엇인지를 이미 알고 있다는 전제를 요구합니다. 그런데 공정성(fairness)의 수학적 정의들—개인 공정성, 집단 공정성, 교정적 공정성—은 서로 양립 불가능합니다. 이것은 단순한 기술적 문제가 아니라 어떤 종류의 정의를 추구할 것인가에 대한 정치적 선택입니다.

존 롤스(John Rawls)의 언어를 빌리자면, AI 시스템이 작동하는 "원초적 입장(original position)"은 존재하지 않습니다. 모든 알고리즘은 이미 특정한 사회적 위치에서 특정한 이해관계를 가진 사람들에 의해 설계됩니다.

실질적 인사이트: 지금 우리가 할 수 있는 것

이 문제가 너무 거대하게 느껴질 수 있습니다. 그러나 개인과 조직 차원에서 즉각 적용 가능한 질문들이 있습니다.

AI 시스템을 도입하거나 사용하는 조직이라면:

이 시스템이 내리는 결정에 영향받는 사람들은 누구인가?
그들이 설계 과정에 참여할 수 있는 구조가 있는가?
알고리즘의 결정에 이의를 제기할 수 있는 절차가 마련되어 있는가?

정책 입안자와 시민 사회라면:

알고리즘 영향평가(Algorithmic Impact Assessment)를 공공 조달의 전제 조건으로 요구할 수 있는가?
AI 감사 결과를 공개하도록 법적으로 강제할 수 있는가?

개인으로서:

내가 받은 알고리즘적 결정(대출 거절, 콘텐츠 추천, 보험료 산정)에 대해 설명을 요구할 권리가 있음을 알고 있는가?

유럽연합의 일반 데이터 보호 규정(GDPR)은 자동화된 결정에 대한 설명 요구권을 명시하고 있습니다. 이것은 불완전하지만, 올바른 방향을 가리키는 제도적 선례입니다.

조심스러운 나의 견해

저는 AI 거버넌스의 문제가 결국 민주주의의 재발명 문제라고 생각합니다. 18세기의 민주주의 제도들—선거, 삼권분립, 청원권—은 알고리즘이 사회 계약을 재작성하는 속도를 따라가지 못하고 있습니다.

그렇다고 기술 비관론에 빠질 이유는 없습니다. 역사적으로 새로운 권력 구조는 항상 새로운 저항과 제도적 혁신을 불러왔습니다. 인쇄술이 종교 권력을 분산시켰고, 노동운동이 산업 자본주의를 제어하는 법적 틀을 만들어냈듯이, AI 시대의 민주주의적 거버넌스도 지금 이 순간 실험되고 있습니다.

다만, 그 실험이 성공하려면 한 가지가 필수적으로 보입니다. 알고리즘의 도덕적 구조를 설계하는 일이 기술 전문가만의 영역이 아니라는 광범위한 사회적 합의입니다. 철학자, 사회학자, 법학자, 그리고 무엇보다 그 결정에 영향받는 당사자들이 그 테이블에 함께 앉아야 합니다.

기술은 가치중립적이지 않습니다. 그렇다면 그 가치를 결정하는 과정 역시 가치중립적일 수 없습니다. 그리고 민주주의 사회에서 가치를 결정하는 과정은 투명하고, 참여적이며, 이의 제기 가능해야 합니다.

생각해볼 질문: 당신이 알고리즘에 의해 중요한 결정(취업, 대출, 의료)을 거절당했다면, 그 결정의 근거를 설명받고 이의를 제기할 권리가 당신에게 있다고 생각하십니까? 그리고 그 권리를 실제로 행사할 수 있는 구조가 지금 존재한다고 생각하십니까?

NOCODE TECH STACKER