AI 윤리의 권력 문제: 누가 "좋은 AI"의 기준을 만드는가?

AI 윤리(AI ethics) 담론이 본격화된 지 10여 년이 지났습니다. 그런데 한 가지 불편한 질문이 계속 남습니다. 우리가 "AI를 윤리적으로 만들어야 한다"고 말할 때, 그 '윤리'를 정의하는 사람은 누구인가요? AI 윤리의 원칙들—공정성(fairness), 투명성(transparency), 책임(accountability)—은 누군가가 특정한 시간과 장소에서 특정한 이해관계를 가지고 만든 것입니다. 그럼에도 그것은 마치 보편적 진리처럼 전 세계로 수출됩니다.

이것은 단순한 기술 철학의 문제가 아닙니다. 이것은 권력의 문제입니다.

"윤리"는 중립적이지 않다

한 가지 사고실험을 해보겠습니다.

2026년 현재, 전 세계적으로 가장 영향력 있는 AI 윤리 프레임워크를 만든 기관들을 떠올려 보십시오. Google, Microsoft, OpenAI, 그리고 EU의 AI Act. 이들이 공통적으로 강조하는 원칙들은 놀랍도록 유사합니다. 그런데 흥미로운 점은, 이 원칙들을 초안한 사람들의 구성이 놀랍도록 유사하다는 것입니다. 대부분 서구권, 영어권, 고학력, 기술 산업 종사자입니다.

마셜 맥루한(Marshall McLuhan)이 말했듯이, "미디어는 메시지다(the medium is the message)." 윤리 프레임워크도 마찬가지입니다. 그 내용만이 아니라, 그것을 누가 어떤 방식으로 만들었는가 자체가 하나의 메시지를 담고 있습니다.

철학자 미란다 프리커(Miranda Fricker)는 인식론적 불의(epistemic injustice)라는 개념을 통해, 특정 집단의 지식과 경험이 체계적으로 배제되거나 평가절하될 때 발생하는 불평등을 분석했습니다. AI 윤리 담론에서 바로 이 현상이 일어나고 있을 가능성이 있습니다. 피해를 가장 많이 받는 집단—유색인종, 저소득층, 비서구권 사용자—이 "윤리"를 정의하는 테이블에서 배제되어 있습니다.

역사적 선례: 표준화는 항상 정치적이었다

이것이 전례 없는 일은 아닙니다. 기술 표준화의 역사는 권력의 역사이기도 합니다.

19세기 말, 전기 표준 전쟁(War of Currents)에서 에디슨의 직류(DC)와 테슬라-웨스팅하우스의 교류(AC)가 충돌했을 때, 승자를 결정한 것은 순수한 기술적 우월성만이 아니었습니다. 자본과 특허권, 그리고 누가 더 많은 인프라를 먼저 깔았는가가 결정적이었습니다.

20세기 인터넷 거버넌스도 마찬가지입니다. ICANN(인터넷 주소 관리 기구)은 명목상 다자간 기구이지만, 오랫동안 미국 상무부의 감독 아래 있었습니다. 인터넷이 "중립적 기술"이라는 신화는, 그 기반 구조가 특정 국가의 법률과 이해관계 안에 배태되어 있다는 현실을 가렸습니다.

AI 윤리 표준화도 같은 경로를 밟고 있을 가능성이 있습니다. 지금 만들어지는 원칙들이 수십 년 후 전 세계 AI 시스템의 작동 방식을 규정하는 기반이 될 것입니다. 그 기반을 누가 놓느냐는, 결코 기술적 문제가 아닙니다.

people gathering inside the building

Photo by Evangeline Shaw on Unsplash

AI 윤리의 "동의 문제(Consent Problem)"

여기서 질문을 던져봅시다. 어떤 기관이 모든 사람을 위해 "윤리적 AI"가 무엇인지를 정의할 정당한 권한(legitimate authority)을 갖고 있을까요?

이것은 제가 이전부터 계속 추적해온 문제입니다. AI 윤리 거버넌스의 핵심 난제는 정렬(alignment)이나 편향 완화(bias mitigation)가 아닐 수 있습니다. 진짜 문제는 동의의 문제(the consent problem)입니다. 소수의 동질적인 집단이 만든 기준이 보편적 기준으로 수출될 때, 그 과정에서 영향을 받는 사람들은 어떤 동의도 하지 않았습니다.

사회계약론(social contract theory)의 관점에서 보면, 이것은 심각한 정당성 위기입니다. 장 자크 루소(Jean-Jacques Rousseau)는 정치적 권위의 정당성이 피치자의 동의에서 나온다고 했습니다. AI 윤리 프레임워크는 사실상 수억 명의 삶에 영향을 미치는 규범을 만들지만, 그 규범 제정 과정에서 대부분의 사람들은 목소리를 낼 수 없습니다.

팔란티어·Maven이 바꾸는 전쟁의 문법: 군사 AI는 누구의 손에 있는가를 보면, 이 문제는 민간 영역을 넘어 군사·안보 영역에서 더욱 첨예해집니다. 군사 AI의 윤리 기준을 누가 정하는가—그 질문 앞에서 "동의"라는 개념은 거의 불가능해 보입니다.

세 가지 시나리오: AI 윤리 거버넌스의 미래

역사적 선례와 현재 상황을 바탕으로, 저는 세 가지 미래 시나리오를 생각해볼 수 있다고 봅니다.

시나리오 1: 서구 표준의 패권화

현재 추세가 지속될 경우, EU의 AI Act와 미국 빅테크의 자율 규제가 사실상의 글로벌 표준이 될 가능성이 있습니다. 이른바 "브뤼셀 효과(Brussels Effect)"—EU 규제가 글로벌 표준이 되는 현상—가 AI 윤리에서도 작동하는 경우입니다. 이 시나리오에서 비서구권 국가들은 자국의 문화적·사회적 맥락과 맞지 않는 윤리 기준을 수용하거나, 아니면 글로벌 AI 생태계에서 배제되는 딜레마에 직면합니다.

시나리오 2: 윤리의 다극화와 분절

반대로, 각 지역이 자체적인 AI 윤리 프레임워크를 구축하는 방향으로 나아갈 수도 있습니다. 중국의 AI 거버넌스 모델, 인도의 디지털 공공재(Digital Public Infrastructure) 접근법, 아프리카 연합의 AI 정책 등이 각자의 논리로 발전하는 시나리오입니다. 이 경우 AI 윤리의 "공통 언어"가 사라지고, 서로 다른 윤리 체계를 가진 AI 시스템들이 공존하는 복잡한 세계가 됩니다. 다양성의 측면에서는 바람직할 수 있지만, 국경을 넘나드는 AI 시스템의 책임 소재는 더욱 불분명해질 가능성이 있습니다.

시나리오 3: 참여적 윤리 거버넌스

세 번째 시나리오는 가장 이상적이지만 가장 실현하기 어려운 경로입니다. AI 시스템의 영향을 받는 당사자들—특히 지금까지 배제되어 온 집단들—이 윤리 기준 제정 과정에 실질적으로 참여하는 구조를 만드는 것입니다. 이것은 단순한 "다양성 포용"이 아니라, 의사결정 권한 자체를 재분배하는 것을 의미합니다. 몇몇 연구자들은 이를 알고리즘 정의(algorithmic justice)의 문제로 프레이밍하고 있으며, AI Now Institute와 같은 기관이 이 방향의 연구를 선도하고 있습니다.

찬반 양론: 현재의 프레임워크는 충분한가?

옹호하는 시각도 존재합니다. EU AI Act나 IEEE의 윤리 가이드라인 같은 현재의 프레임워크가 불완전하더라도, 전혀 없는 것보다는 낫다는 주장입니다. 실용주의적 관점에서, 완벽한 참여 구조를 기다리다가는 이미 배포된 수많은 AI 시스템이 아무런 규제 없이 작동하게 됩니다. 또한 현재 프레임워크들이 점진적으로 개선되고 있으며, 시민사회의 압력이 실제로 변화를 만들어내고 있다는 증거도 있습니다.

비판하는 시각은 더 근본적입니다. 기울어진 운동장에서 만들어진 규칙은, 아무리 수정해도 구조적 불평등을 재생산한다는 것입니다. 사회학자 루하 벤자민(Ruha Benjamin)은 그의 저서 Race After Technology에서 기술적 중립성이라는 신화가 어떻게 인종적 불평등을 "자연스러운 것"으로 코드화하는지를 보여줬습니다. 이 관점에서, 현재의 AI 윤리 프레임워크는 문제를 해결하는 것이 아니라 문제를 관리 가능한 것으로 보이게 만드는 역할을 할 위험이 있습니다.

AI 클라우드, 이제 "누가 배포했는가"보다 "무엇이 살아남았는가"가 더 위험하다는 이 맥락에서 중요한 시사점을 줍니다. 윤리 기준을 누가 만들었는가의 문제만큼이나, 어떤 시스템이 시장에서 살아남아 실질적 영향력을 행사하는가의 문제가 더 현실적인 위험일 수 있습니다.

AI 윤리 거버넌스를 다시 생각한다는 것

저는 현재의 AI 윤리 프레임워크를 전면 폐기해야 한다고 주장하는 것이 아닙니다. 다만, 그것이 얼마나 특정한 역사적·사회적 위치에서 만들어진 것인지를 직시해야 한다고 생각합니다.

철학자 존 롤스(John Rawls)의 "무지의 베일(veil of ignorance)" 사고실험은 여기서 흥미로운 기준을 제공합니다. 만약 우리가 자신이 AI 시스템의 수혜자가 될지 피해자가 될지, 어느 나라에서 태어날지, 어떤 인종과 계층에 속할지 모른다면, 우리는 어떤 AI 윤리 원칙에 동의하겠습니까? 그 원칙이 현재 우리가 가진 것과 같을까요?

조심스럽게 제 견해를 밝히자면, AI 윤리의 진짜 과제는 더 좋은 원칙을 만드는 것이 아니라, 더 정당한 원칙 제정 과정(principle-making process)을 설계하는 것이라고 생각합니다. 내용(what)보다 절차(how)와 참여(who)의 문제가 더 근본적입니다. 이것이 해결되지 않는 한, 아무리 정교한 AI 윤리 프레임워크도 특정 집단의 세계관을 보편적 진리로 포장하는 도구가 될 위험을 완전히 벗어나기 어렵습니다.

생각해볼 질문

만약 당신이 AI 시스템의 영향을 받는 수십억 명을 대표하는 위원회를 구성해야 한다면, 그 위원회의 구성원을 어떻게 선발하겠습니까? 그리고 그 선발 기준 자체는 누가 정해야 할까요?

Tags: AI 윤리, 알고리즘 거버넌스, 기술 철학, 권력, 동의, 공정성, 글로벌 AI 정책

저는 이 글이 이미 완성된 상태라고 판단합니다.

이전 내용 끝부분을 검토해보면, 글은 이미 완전한 구조를 갖추고 있습니다.

✅ 찬반 양론 — "옹호하는 시각"과 "비판하는 시각" 모두 제시됨
✅ 자신의 견해 — "조심스럽게 제 견해를 밝히자면..." 으로 마무리됨
✅ 결론부 — "AI 윤리 거버넌스를 다시 생각한다는 것" 섹션에서 롤스의 사고실험과 함께 핵심 주장이 정리됨
✅ 생각해볼 질문 — 독자에게 던지는 마무리 질문 포함됨
✅ 태그 — 포함됨

이 글에 추가할 내용이 있다면, 어떤 방향으로 확장하고 싶으신지 알려주시면 도움을 드릴 수 있습니다. 예를 들어:

새로운 사례나 역사적 선례 추가
특정 섹션의 논증 심화
다른 각도의 시나리오 보완

원하시는 방향을 말씀해 주세요.

NOCODE TECH STACKER