AI 윤리를 둘러싼 논쟁에서 반복적으로 등장하는 패턴이 있습니다. 기술이 먼저 배포되고, 피해가 발생하고, 그다음에 규제와 반성이 따라옵니다. 이 순서는 거의 예외 없이 동일합니다. AI 윤리가 진정한 의미에서 "사전 예방적(proactive)"이 되지 못하는 이유는 단순히 기술이 빠르기 때문이 아닙니다. 그 이면에는 훨씬 더 근본적인 철학적 문제가 자리하고 있습니다.

---

역사는 반복된다: 기술 윤리의 "사후 처방" 패턴

한 가지 사고실험을 해보겠습니다. 당신이 1990년대 초 인터넷의 확산을 목격하고 있다고 상상해보십시오. 당시 기술 낙관론자들은 정보의 민주화, 국경 없는 소통, 지식의 해방을 약속했습니다. 그 약속은 부분적으로 실현되었습니다. 그러나 소셜 미디어가 민주주의를 어떻게 왜곡할 수 있는지, 알고리즘 추천이 어떻게 극단주의를 증폭시키는지에 대한 진지한 윤리적 성찰은 피해가 이미 광범위하게 확산된 이후에야 시작되었습니다.

이 패턴은 AI에서도 동일하게 반복되고 있습니다. 안면인식 기술은 수백만 명의 얼굴을 학습한 뒤에야 인종 편향 문제가 공론화되었습니다. 채용 알고리즘은 수년간 여성 지원자를 불이익하게 처리한 뒤에야 폐기되었습니다. 신용평가 모델은 우편번호를 인종의 대리 변수로 활용하고 있다는 사실이 밝혀지기 전까지 "객관적"이라는 평가를 받았습니다.

마셜 맥루한(Marshall McLuhan)은 일찍이 이렇게 경고했습니다:

"우리는 백미러를 보며 미래로 나아간다(We drive into the future using only our rearview mirror)."

AI 윤리의 현재 위기는 이 경구를 완벽하게 구현하고 있습니다.

---

왜 우리는 "사전에" 윤리를 설계하지 못하는가?

흥미로운 점은, 이것이 단순한 태만이나 악의의 문제가 아니라는 것입니다. 여기에는 구조적이고 인식론적인 이유가 있습니다.

1. 상상력의 한계: 우리는 존재하지 않는 피해를 예측하지 못한다

철학자 도나 해러웨이(Donna Haraway)는 "상황적 지식(situated knowledge)"이라는 개념을 통해, 모든 지식은 특정한 위치와 관점에서 생산된다고 주장했습니다. AI 시스템을 설계하는 엔지니어들은 대부분 특정 인구통계적 집단에 속해 있습니다. 그들은 자신이 경험하지 못한 피해를 상상하기 어렵습니다. 이것은 악의가 아니라 인식론적 제약입니다.

예를 들어, 의료 AI가 피부색이 어두운 환자에게서 산소 포화도를 과대 측정한다는 사실은, 피부과학적 다양성을 직접 경험하지 못한 개발팀이 그 가능성 자체를 훈련 데이터 설계 단계에서 고려하지 않았기 때문에 발생했습니다. 2020년 NEJM(New England Journal of Medicine)에 발표된 연구는 맥박 산소측정기가 흑인 환자의 산소 부족을 체계적으로 과소 탐지한다는 사실을 보고했습니다. 이 문제는 기기가 수십 년간 사용된 이후에야 대규모로 문서화되었습니다.

2. 경제적 인센티브 구조의 왜곡

AI 윤리의 또 다른 구조적 장애물은 경제적 인센티브입니다. 시장은 빠른 배포에 보상을 제공하고, 신중한 윤리적 검토에는 보상을 제공하지 않습니다. "이동하고 부수어라(Move fast and break things)"는 실리콘밸리의 철학은 단순한 구호가 아니라 투자자 수익률과 시장 선점이라는 구조적 압력을 반영합니다.

여기서 질문을 던져봅시다. 만약 윤리적 감사를 통과하지 못한 AI 시스템을 배포할 경우 기업이 실질적인 법적·재정적 책임을 진다면, 인센티브 구조는 달라질 수 있을까요? 유럽연합의 AI법(EU AI Act)은 이 방향으로의 첫 번째 진지한 시도로 보입니다. 그러나 법적 규제가 기술의 속도를 따라잡을 수 있는지는 여전히 미지수입니다.

3. 측정의 문제: 피해는 종종 비가시적이다

AI 윤리의 가장 까다로운 측면 중 하나는 피해가 분산되고 비가시적이라는 점입니다. 한 개인이 채용 알고리즘에 의해 탈락되었을 때, 그 사람은 자신이 알고리즘에 의해 차별받았다는 사실을 알 수 없습니다. 피해는 실재하지만 집계되지 않습니다. 통계적 차별(statistical discrimination)은 개별 사례에서는 거의 보이지 않고, 대규모 데이터 분석을 통해서만 패턴으로 드러납니다.

이것은 제러미 벤담(Jeremy Bentham)의 공리주의적 프레임이 AI 피해에 적용되기 어려운 이유이기도 합니다. "최대 다수의 최대 행복"을 계산하려면 먼저 피해를 측정할 수 있어야 합니다. 그러나 알고리즘적 피해는 종종 측정 자체가 설계의 문제입니다.

---

세 가지 미래 시나리오

AI 윤리의 "사후 처방" 패턴이 계속된다면, 그리고 그것이 변화한다면, 어떤 미래가 가능할까요?

시나리오 1: 규제 주도형 사후 수렴

가장 현실적인 시나리오입니다. EU AI Act, 미국의 알고리즘 책임법(Algorithmic Accountability Act) 논의, 각국의 AI 규제 프레임워크가 점진적으로 강화되면서 기업들이 배포 후 감사를 의무화합니다. 피해는 여전히 발생하지만, 책임 구조가 명확해지면서 점차 줄어드는 방향으로 수렴합니다. 이 시나리오는 낙관적이지만, 규제가 항상 기술보다 느리다는 역사적 사실이 그 실현 가능성에 의문을 제기합니다.

시나리오 2: 기술 내재형 윤리 설계

"윤리적 AI(ethical AI by design)"가 단순한 슬로건이 아니라 실질적인 공학 원칙으로 자리 잡는 시나리오입니다. 다양한 배경을 가진 팀이 개발 초기 단계부터 참여하고, 영향받는 공동체가 설계 과정에 포함되며, 공정성 지표가 성능 지표만큼 중요하게 다루어집니다. 이것은 가능하지만, 현재의 산업 구조와 인센티브 체계가 근본적으로 변화해야 한다는 전제 조건이 있습니다.

시나리오 3: 분기형 기술 생태계

AI 윤리 기준에 대한 국제적 합의가 이루어지지 않으면서, 서로 다른 윤리 기준을 가진 AI 생태계가 지역별로 분기하는 시나리오입니다. 유럽은 권리 중심, 미국은 혁신 중심, 중국은 국가 효율성 중심의 AI가 발전하면서, "글로벌 AI 윤리"라는 개념 자체가 허구가 됩니다. 이 시나리오는 가장 우려스러우면서도, 현재의 지정학적 흐름을 고려할 때 가장 현실적일 수 있습니다.

---

AI 윤리의 "예방적 전환"은 가능한가?

찬성론자들은 말합니다. 기술 윤리의 역사에서도 항공 안전, 제약 임상시험, 원자력 규제처럼 사전 예방 원칙(precautionary principle)이 실질적으로 작동한 사례들이 있다고. 의약품은 피해가 발생한 이후가 아니라 시판 전에 임상시험을 거칩니다. AI도 이와 유사한 "임상 단계"를 제도화할 수 있다는 주장은 설득력이 없지 않습니다.

반론도 만만치 않습니다. AI는 의약품과 달리 단일한 "복용량"이 없습니다. 동일한 모델도 맥락에 따라 전혀 다른 방식으로 작동하고, 전혀 다른 피해를 낳습니다. 언어 모델이 의료 상담에 사용될 때와 창작 보조에 사용될 때의 윤리적 리스크는 근본적으로 다릅니다. 이 다양성이 사전 규제를 구조적으로 어렵게 만듭니다.

AI 클라우드 인프라가 어떻게 특정 가치관을 구조적으로 내재화하는지에 대한 논의는, AI 윤리 문제가 단순히 알고리즘 설계의 문제가 아니라 기술 생태계 전반의 구조적 문제임을 시사합니다.

---

조심스러운 나의 견해

저는 AI 윤리의 "예방적 전환"이 가능하다고 생각합니다. 그러나 그것이 기술적 해결책만으로 이루어질 수 없다는 점에서는 비관적입니다.

진정한 예방적 AI 윤리는 세 가지 조건을 동시에 필요로 합니다. 첫째, 설계 단계에서의 다양성 — 단순한 성별·인종 다양성이 아니라, 인식론적 다양성(epistemic diversity), 즉 서로 다른 삶의 경험과 취약성을 가진 사람들이 설계 과정에 참여해야 합니다. 둘째, 책임의 구조화 — 피해가 발생했을 때 그것을 누가, 어떻게 책임지는지에 대한 명확하고 집행 가능한 규범이 필요합니다. 셋째, 시간의 재배분 — 이것이 가장 어렵습니다. 빠른 배포에 보상을 주는 경제 구조가 변화하지 않는 한, 개별 기업의 선의에만 의존하는 윤리는 구조적으로 취약합니다.

한나 아렌트(Hannah Arendt)는 정치적 행위의 본질을 "시작(beginning)"의 능력, 즉 새로운 것을 시작할 수 있는 인간의 고유한 능력으로 정의했습니다. AI 윤리의 진정한 과제는 기술이 우리를 어디로 데려가는지를 수동적으로 관찰하는 것이 아니라, 우리가 원하는 방향을 능동적으로 시작하는 것일지 모릅니다. 그것이 가능한지는, 결국 기술의 문제가 아니라 정치적 의지와 집단적 상상력의 문제입니다.

---

생각해볼 질문

만약 AI 시스템이 배포되기 전에 "영향받는 공동체의 동의"를 받아야 한다는 원칙을 도입한다면, 그 동의는 누가, 어떤 방식으로, 어떤 정보를 바탕으로 제공해야 할까요? 그리고 그 동의가 진정으로 "자유롭고 충분한 정보에 근거한(free and informed)" 것이 되려면, 지금의 기술 생태계에서 무엇이 근본적으로 달라져야 할까요?