인공지능이 의료 진단을 내리고, 채용 심사를 하고, 형사 판결에 영향을 미치는 시대가 되었습니다. 그런데 우리는 이 시스템들에게 "윤리적으로 행동하라"고 요구합니다. 여기서 한 가지 근본적인 질문이 떠오릅니다. 과연 AI는 선하게 설계될 수 있는가? 그리고 만약 가능하다면, 그 "선함"은 누가, 어떤 기준으로 정의하는가?

이 질문은 단순한 공학적 문제가 아닙니다. 수천 년의 도덕 철학이 해결하지 못한 문제를 우리는 지금 알고리즘에게 위임하려 하고 있습니다.

---

역사적 선례: 도구에 도덕을 새기려는 시도들

기술에 도덕을 내재화하려는 시도는 AI가 처음이 아닙니다. 20세기 초, 자동차 설계자들은 안전벨트를 의무화하는 것이 "운전자의 자유를 침해한다"는 논쟁에 직면했습니다. 건축가 로버트 모세(Robert Moses)는 뉴욕의 고가도로를 의도적으로 낮게 설계해 버스가 통과하지 못하도록 했습니다. 저소득층과 유색인종이 해변 공원에 접근하지 못하게 하기 위해서였습니다. 기술철학자 랭던 위너(Langdon Winner)는 이를 두고 이렇게 말했습니다.

"인공물은 정치를 가진다(artifacts have politics). 기술적 설계는 결코 중립적이지 않으며, 특정 권력 관계를 물질적으로 구현한다." — Langdon Winner, Do Artifacts Have Politics? (1980)

이 통찰은 오늘날 AI 시스템에 더욱 날카롭게 적용됩니다. 알고리즘은 중립적 수학이 아니라, 설계자의 가정(assumption)과 사회의 편향이 코드로 결정화된 구조물입니다.

---

현재 상황: "윤리적 AI"라는 개념의 역설

지난 10년간 전 세계 수십 개의 기관이 AI 윤리 원칙을 발표했습니다. 구글, 마이크로소프트, EU, OECD, 유네스코까지. 그런데 이 원칙들을 들여다보면 흥미로운 패턴이 보입니다.

알고리즘 감시 단체 AlgorithmWatch의 2019년 분석에 따르면, 당시 존재하던 84개의 AI 윤리 가이드라인 중 공정성(fairness), 투명성(transparency), 책임(accountability) 세 가지 개념이 거의 모든 문서에 등장했습니다. 그런데 이 개념들의 구체적 정의는 문서마다 달랐습니다. 어떤 문서에서 "공정성"은 개인의 동등한 기회를 의미했고, 다른 문서에서는 집단 간 결과의 균등함을 의미했습니다. 이 두 정의는 수학적으로 동시에 충족될 수 없습니다.

이것은 단순한 개념 혼란이 아닙니다. 서로 다른 도덕 철학의 충돌입니다.

• 공리주의적 관점: AI는 전체 사회의 총 행복을 극대화해야 한다
• 칸트적 관점: AI는 개인을 수단이 아닌 목적으로 대해야 한다
• 덕 윤리학적 관점: AI는 인간의 덕성을 함양하는 방향으로 작동해야 한다
• 공동체주의적 관점: AI는 특정 공동체의 가치와 문화를 존중해야 한다

이 네 가지 관점은 구체적 상황에서 서로 다른 답을 내놓습니다. 예컨대, 자율주행차가 사고를 피할 수 없을 때 어떤 선택을 해야 하는가라는 고전적 트롤리 문제(trolley problem)에서, 공리주의는 "더 많은 생명을 구하라"고 말하지만 칸트 윤리학은 "어떤 생명도 수단으로 사용해서는 안 된다"고 반박합니다.

---

사고실험: AI 판사에게 형량을 맡긴다면

한 가지 사고실험을 해보겠습니다.

미국에서 실제로 사용된 COMPAS(Correctional Offender Management Profiling for Alternative Sanctions) 알고리즘은 재범 가능성을 예측해 판사의 형량 결정을 보조했습니다. 2016년 ProPublica의 조사는 이 시스템이 흑인 피고인을 백인 피고인보다 약 두 배 높은 비율로 "고위험군"으로 분류한다는 사실을 밝혔습니다. 알고리즘은 인종을 직접 변수로 사용하지 않았습니다. 그러나 우편번호, 가족의 전과 기록, 교육 수준 등 인종과 높은 상관관계를 가진 변수들이 인종의 대리 변수(proxy variable)로 작동했습니다.

여기서 질문을 던져봅시다. 이 알고리즘은 "공정한가"?

알고리즘 개발사 Northpointe는 "흑인과 백인 집단 내에서 동일한 점수를 받은 사람들의 실제 재범률이 같다"는 의미에서 공정하다고 주장했습니다. ProPublica는 "실제로 재범하지 않은 흑인이 고위험군으로 분류되는 비율이 백인보다 두 배 높다"는 의미에서 불공정하다고 반박했습니다.

놀랍게도 두 주장 모두 수학적으로 옳습니다. 그리고 두 가지 공정성 기준을 동시에 만족하는 것은 집단 간 기저 재범률이 다를 때 수학적으로 불가능합니다. 이것은 알고리즘의 결함이 아닙니다. 이것은 우리 사회의 불평등 구조가 알고리즘 안에서 수학적 딜레마로 결정화된 것입니다.

---

찬반 양론: AI 윤리는 가능한가

긍정론: 인간보다 일관된 도덕적 행위자

AI 윤리를 지지하는 입장에서는 인간 판단의 불일관성을 지적합니다. 심리학자 다니엘 카너만(Daniel Kahneman)의 연구에 따르면, 동일한 판사가 점심 식사 전후로 가석방 승인율에서 유의미한 차이를 보입니다. 배고픔이라는 생물학적 요인이 법적 판단에 영향을 미치는 것입니다. 이런 관점에서 보면, 명확한 기준으로 설계된 AI는 적어도 일관성이라는 측면에서 인간보다 우월할 수 있습니다.

또한 AI는 명시적으로 편향을 감사(audit)하고 수정할 수 있다는 장점이 있습니다. 인간의 무의식적 편향은 드러내기도, 수정하기도 어렵지만, 알고리즘의 편향은 원칙적으로 코드 수준에서 추적 가능합니다.

비판론: 도덕은 맥락이고, 맥락은 코드로 환원되지 않는다

반면 철학자 루시아노 플로리디(Luciano Floridi)를 비롯한 비판론자들은 도덕적 행위자성(moral agency)이 단순한 규칙 준수를 넘어선다고 주장합니다. 진정한 도덕적 판단은 감수성(sensitivity), 책임감(accountability), 공감(empathy) 을 요구하며, 현재의 AI는 이러한 능력을 가지고 있지 않습니다.

더 근본적으로, 마셜 맥루한(Marshall McLuhan)이 "미디어는 메시지다(the medium is the message)"라고 말했듯이, AI라는 미디어 자체가 특정 종류의 사고방식을 촉진합니다. 모든 것을 수치화하고, 최적화하고, 예측 가능하게 만들려는 알고리즘적 사고방식은 인간의 도덕적 삶에서 필수적인 모호함, 예외, 맥락 의존성을 체계적으로 제거합니다.

---

미래 시나리오: 세 가지 가능성

시나리오 1 — 기술 해결주의(Techno-solutionism)의 승리 AI 윤리 문제는 더 정교한 알고리즘, 더 많은 데이터, 더 나은 감사 도구로 해결 가능하다는 관점이 주류가 됩니다. 빅테크 기업들이 주도하는 자율 규제 체계가 자리를 잡고, "윤리적 AI" 인증이 제품 라벨처럼 붙습니다. 편향은 줄어들지만, 누가 윤리를 정의하는가라는 근본 질문은 여전히 소수의 손에 남습니다.

시나리오 2 — 민주적 AI 거버넌스 AI 윤리의 결정권이 기술 엘리트에서 시민 사회로 분산됩니다. 다양한 문화권, 계층, 세대가 참여하는 숙의 민주주의(deliberative democracy) 모델이 AI 거버넌스에 적용됩니다. 느리고 비효율적이지만, 적어도 "누구의 선함인가"라는 질문에 더 넓은 답을 제시합니다.

시나리오 3 — 다원주의적 공존 단일한 "윤리적 AI" 기준 대신, 문화권과 맥락에 따라 다른 윤리 모듈이 공존하는 체계가 형성됩니다. 서울에서 작동하는 AI와 상파울루에서 작동하는 AI가 다른 가치 체계를 반영합니다. 이는 상대주의의 위험을 내포하지만, 동시에 기술 식민주의(techno-colonialism)를 방지할 가능성도 있습니다.

---

조심스러운 견해

세 시나리오 중 어느 하나가 순수하게 실현되기보다는, 세 방향이 긴장 관계를 유지하며 혼재할 가능성이 높아 보입니다. 그러나 제가 가장 우려하는 것은 시나리오 1의 함정입니다. "윤리적 AI"가 하나의 상품 카테고리가 되어버리는 순간, 윤리는 마케팅 언어로 전락하고 근본 질문은 가려집니다.

철학자 오노라 오닐(Onora O'Neill)은 신뢰(trust)에 대해 이렇게 말했습니다.

"신뢰는 요구하는 것이 아니라, 신뢰받을 만한 행위를 통해 얻는 것이다."

AI 시스템에 대한 신뢰도 마찬가지입니다. "우리는 윤리적입니다"라는 선언이 아니라, 누가 설계했는지, 어떤 데이터로 훈련됐는지, 누구의 이익을 위해 최적화됐는지를 투명하게 드러내는 구조적 실천이 선행되어야 합니다.

AI가 "선하게" 설계될 수 있는가라는 질문에 저는 조심스럽게 이렇게 답하겠습니다. 부분적으로는 가능하다. 그러나 그 "선함"은 기술적 성취가 아니라 지속적인 사회적 협상의 산물이어야 한다. 알고리즘 안에 도덕을 새기는 것은 가능할지 모르지만, 그 도덕이 누구의 것인지를 묻는 질문은 알고리즘이 아니라 우리 사회가 끊임없이 던져야 합니다.

---

---

💭 생각해볼 질문

당신이 사용하는 AI 서비스가 오늘 내린 판단 중 하나가 나중에 "편향된 것"으로 밝혀진다면, 그 책임은 알고리즘을 만든 엔지니어에게 있을까요, 알고리즘을 도입한 기업에게 있을까요, 아니면 그 서비스를 선택한 당신에게 있을까요?