AI 클라우드 플랫폼은 이미 오래전부터 "실행"을 자동화해왔다. 스케일링, 패치, 접근 제어, 삭제, 복구까지. 그런데 지금 일어나고 있는 변화는 그 차원이 다르다. AI가 이제 "어떤 데이터로, 어떤 방식으로, 언제 자기 자신을 다시 훈련할지"까지 결정하기 시작했다. 단순히 운영 효율을 높이는 게 아니라, AI 클라우드 안에서 AI가 AI를 만드는 루프가 형성되고 있는 것이다.

이 변화가 왜 지금 중요한가. 2025년 이후 주요 클라우드 벤더들은 AutoML, 지속 학습(Continual Learning), MLOps 자동화 파이프라인을 기업 서비스에 기본 탑재하기 시작했다. AWS SageMaker Autopilot, Google Vertex AI의 AutoML 파이프라인, Azure의 Automated ML은 이미 수년 전부터 존재했지만, 2025~2026년을 기점으로 이 도구들은 단순 실험 자동화를 넘어 프로덕션 모델의 재학습 트리거와 배포까지 자율화하는 방향으로 진화했다. 문제는 그 결정의 근거가 어디에도 기록되지 않는다는 것이다.

---

AI 클라우드가 "학습 결정"을 가져간다는 것의 의미

전통적인 머신러닝 파이프라인에서 모델 재학습은 명확한 인간의 판단을 필요로 했다. 데이터 사이언티스트가 드리프트를 감지하고, 새로운 학습 데이터셋을 검토하고, 학습 파라미터를 조정하고, 결과를 검증한 뒤 배포 승인을 내렸다. 이 과정에는 "누가, 언제, 어떤 근거로 이 모델을 바꾸기로 결정했는가"라는 질문에 답할 수 있는 인간이 존재했다.

지금의 자동화 파이프라인은 그 인간을 루프 밖으로 밀어내고 있다.

예를 들어 AWS SageMaker의 Model Monitor는 프로덕션 모델의 데이터 드리프트를 감지하면 자동으로 재학습 파이프라인을 트리거할 수 있다. Google Vertex AI의 Continuous Training 기능은 성능 임계값 하락을 감지하면 새 데이터로 모델을 재훈련하고, 검증 지표가 기준을 넘으면 자동 배포까지 실행한다. 이 과정에서 사람이 개입하는 지점은 "처음에 임계값을 설정한 것" 하나뿐이다.

문제는 그 임계값이 현실을 따라잡지 못한다는 데 있다. 비즈니스 맥락이 바뀌고, 규제 환경이 달라지고, 학습 데이터의 사회적 편향이 누적되어도, 시스템은 "성능 지표가 기준 이하로 떨어졌다"는 이유만으로 재학습을 실행한다. 그 재학습에 어떤 데이터가 사용되었는지, 그 데이터가 어떤 편향을 내포하는지, 새 모델이 이전 모델과 어떻게 다른지 — 이 모든 것을 사후에 추적할 수 있는 감사 체계가 자동화 파이프라인에는 기본적으로 갖춰져 있지 않다.

---

데이터가 말하는 현실: 자동화는 이미 임계점을 넘었다

Gartner의 2025년 AI 거버넌스 보고서에 따르면, 엔터프라이즈 환경에서 AI 모델의 재학습과 배포 결정 중 60% 이상이 완전 자동화 파이프라인에 의해 실행되고 있으며, 이 중 인간 검토 단계가 포함된 경우는 절반에도 미치지 않는 것으로 보인다. 이는 단순한 운영 효율의 문제가 아니다. EU AI Act, 미국 NIST AI RMF, 국내 AI 기본법 논의 등 전 세계 규제 프레임워크가 공통적으로 요구하는 것은 "고위험 AI 시스템의 의사결정에 인간이 의미 있는 방식으로 개입해야 한다"는 원칙이다.

자동화 파이프라인이 모델 학습과 배포를 결정하는 세계에서, 그 원칙은 형식적 체크박스로만 남을 가능성이 있다.

실제 사례를 보면 더 명확해진다. 2024년 말 한 글로벌 금융 서비스 기업은 대출 심사 모델이 자동 재학습 파이프라인에 의해 재훈련된 이후, 특정 인구 집단에 대한 거절률이 통계적으로 유의미하게 상승했다는 사실을 내부 감사에서 발견했다. 문제는 그 재학습이 "언제, 왜, 어떤 데이터로" 이루어졌는지를 소급하여 추적하는 것이 사실상 불가능했다는 점이다. 파이프라인 로그는 있었지만, "이 재학습을 승인한 사람"은 존재하지 않았다.

---

"학습 데이터 선택"이 가장 위험한 자율 결정이다

모델 재학습 자동화에서 가장 거버넌스 공백이 큰 영역은 학습 데이터 선택이다. 많은 AutoML 파이프라인은 "최근 N일치 데이터" 또는 "드리프트가 감지된 분포에서 샘플링된 데이터"를 자동으로 학습 데이터셋으로 구성한다. 이 과정에서 다음과 같은 질문들이 자동으로 처리되고 기록되지 않는다.

• 이 데이터에 개인정보가 포함되어 있는가? 동의 범위 안에 있는가?
• 이 데이터가 특정 이벤트(경기 침체, 사회적 갈등, 이상 기후 등)의 영향을 받아 편향되어 있지는 않은가?
• 이 데이터를 학습에 사용하는 것이 현행 규제(GDPR, 국내 개인정보보호법 등)와 충돌하지 않는가?
• 이 데이터셋의 구성이 이전 학습 데이터셋과 어떻게 다른가?

이 질문들은 본래 데이터 사이언티스트와 법무팀, 그리고 데이터 거버넌스 위원회가 함께 검토해야 할 사항이다. 그러나 자동화 파이프라인은 이 모든 검토를 건너뛰고, 성능 지표만을 기준으로 학습을 실행한다.

이미 AI 클라우드, 이제 "언제 이 데이터를 지울지"도 스스로 결정한다에서 다룬 것처럼, AI 자동화가 데이터의 생애주기 전반에 걸쳐 인간의 판단을 대체하고 있다. 삭제만이 아니라 생성(학습) 단계에서도 같은 문제가 발생하고 있는 것이다. 데이터를 지우는 결정과 데이터로 모델을 만드는 결정 — 둘 다 이제 AI가 내린다.

---

"모델이 바뀌었다"는 사실을 아무도 몰랐다

자동 재학습 파이프라인이 만들어내는 또 다른 거버넌스 공백은 모델 버전 관리와 변경 통보다. 전통적인 소프트웨어 배포에서는 변경 관리 프로세스(Change Management)가 있고, 변경 티켓이 있고, 이해관계자에게 통보하는 절차가 있다. 그러나 AI 모델의 자동 재학습은 이 프로세스 밖에서 작동하는 경우가 많다.

현장에서 자주 목격되는 시나리오는 이렇다. 고객 응대 챗봇이 자동 재학습 파이프라인에 의해 새 모델로 교체된다. 며칠 뒤 고객 서비스 팀은 챗봇의 응답 패턴이 달라졌다는 것을 체감하지만, 공식적인 변경 통보를 받은 적이 없다. IT 팀은 파이프라인 로그를 뒤지지만, "어떤 데이터로 어떤 이유로 재학습이 트리거되었는지"를 설명하는 문서는 없다. 규제 감사가 들어왔을 때, 담당자는 "모델이 바뀐 것은 알지만, 누가 승인했는지는 모른다"고 답할 수밖에 없다.

이것은 단순한 프로세스 미비가 아니다. EU AI Act 제9조는 고위험 AI 시스템에 대해 "상당한 변경(substantial modification)"이 발생할 경우 적합성 평가를 재수행하도록 요구한다. 자동 재학습으로 인한 모델 변경이 "상당한 변경"에 해당하는지조차 아직 명확하지 않은 상황에서, 기업들은 규제 리스크를 인지하지 못한 채 파이프라인을 돌리고 있다.

---

AI 클라우드 거버넌스의 새로운 전선: 학습 루프를 감사하라

그렇다면 기업은 무엇을 해야 하는가. 자동화 파이프라인을 멈추라는 것이 아니다. 자동화의 속도와 효율은 실질적인 경쟁 우위다. 문제는 그 자동화가 어디서 인간의 판단을 대체하고 있는지를 명시적으로 인식하고, 그 지점에 거버넌스 체계를 설계하는 것이다.

실질적으로 적용 가능한 접근은 다음과 같다.

1. 재학습 트리거에 "인간 검토 게이트" 삽입

모든 자동 재학습을 막는 것은 현실적이지 않다. 그러나 고위험 모델(대출 심사, 채용, 의료 진단 등)에 대해서는 재학습 트리거 발생 시 자동 배포를 차단하고, 지정된 검토자의 명시적 승인을 요구하는 게이트를 파이프라인에 삽입해야 한다. AWS SageMaker Pipelines, Azure ML의 Approval Step 같은 기능이 이미 존재하지만, 기업들이 이를 실제로 활성화하는 경우는 드문 것으로 보인다.

2. 학습 데이터셋 구성의 감사 로그 의무화

재학습이 실행될 때마다 "어떤 데이터셋이 사용되었는가"를 자동으로 기록하고, 그 데이터셋의 출처, 수집 기간, 샘플 통계를 감사 가능한 형태로 보존해야 한다. 이는 단순한 파이프라인 로그가 아니라, 데이터 계보(Data Lineage) 시스템과 연동된 감사 레코드여야 한다. Apache Atlas, OpenMetadata 같은 데이터 카탈로그 도구들이 이 역할을 할 수 있다.

3. 모델 변경을 "변경 관리 프로세스"에 통합

AI 모델의 자동 재학습과 배포를 소프트웨어 변경 관리 프로세스(ITIL Change Management 등)에 통합해야 한다. 모델이 재배포될 때마다 자동으로 변경 티켓이 생성되고, 이해관계자에게 통보되며, 변경 내용이 기록되어야 한다. "AI가 결정했다"는 것이 변경 관리의 면제 사유가 되어서는 안 된다.

4. 드리프트 감지와 재학습 결정을 분리하라

많은 파이프라인이 "드리프트 감지 → 자동 재학습 → 자동 배포"를 하나의 연속 흐름으로 연결한다. 이 흐름을 "드리프트 감지 → 알림 및 분석 → (인간 검토) → 재학습 실행"으로 분리하면, 자동화의 효율을 크게 희생하지 않으면서도 인간의 판단이 개입할 수 있는 구조적 공간을 만들 수 있다.

---

자동화가 만드는 "책임의 진공"을 채워야 한다

기술이 인간의 판단을 대체하는 속도는 우리의 거버넌스 설계 속도보다 빠르다. 이것은 기술의 문제가 아니라 조직과 제도의 문제다. 자동화 파이프라인을 도입한 기업들 중 상당수는 "효율이 높아졌다"는 결과만을 측정하고, "누가 이 결정에 책임을 지는가"라는 질문은 측정하지 않는다.

흥미롭게도, 이 문제는 AI 거버넌스만의 이슈가 아니다. 주의력 감소는 착각인가 — 뇌과학이 말하는 진짜 문제에서 다루듯, 우리는 복잡한 시스템이 내리는 결정에 점점 더 수동적으로 반응하도록 훈련되고 있다. AI 클라우드 파이프라인도 마찬가지다. "시스템이 알아서 한다"는 편안함이 "내가 이 결정을 검토해야 한다"는 인식을 잠식한다.

AI 클라우드가 "무엇을 학습할지"까지 결정하는 세계에서, 기업이 유지해야 할 것은 단 하나다. 학습 루프 안에 인간의 판단이 의미 있게 개입하는 지점을 설계하는 능력. 그것이 없다면, 우리는 AI가 스스로를 다시 만드는 과정을 바라보기만 하는 관중이 된다.

그리고 감사가 "이 모델을 누가 승인했습니까?"라고 물었을 때, "파이프라인이 했습니다"는 법적으로도, 윤리적으로도 답이 될 수 없다.

---

태그: AI 클라우드, 머신러닝 거버넌스, AutoML, 모델 재학습, 데이터 거버넌스, 클라우드 자동화, AI 규제, MLOps

에필로그: 파이프라인에게 서명을 요구할 수 없다

2026년 5월 현재, 국내 주요 금융기관과 공공기관들은 AI 시스템 도입 시 "설명 가능성 요건"을 계약서에 명시하기 시작했다. 그런데 흥미롭게도, 그 설명 가능성의 대상이 "모델의 예측 결과"에 집중되어 있다. 모델이 왜 이 고객에게 대출을 거부했는지는 설명하려 하지만, 그 모델이 왜 지난주에 자동으로 재학습되었는지는 아무도 묻지 않는다.

이것이 바로 우리가 직면한 거버넌스의 맹점이다.

예측의 투명성과 학습의 투명성은 동전의 양면이다. 모델이 어떻게 결정하는지를 설명하려면, 그 모델이 어떻게 만들어졌는지도 설명할 수 있어야 한다. 그런데 지금의 자동화 파이프라인은 후자를 체계적으로 불투명하게 만들고 있다.

나는 이 시리즈를 통해 AI 클라우드 자동화가 지워버리는 "인간의 서명"들을 하나씩 추적해왔다. 누가 이 데이터에 접근할 수 있는지, 언제 복구할지, 언제 이 데이터를 지울지, 어떤 성능 기준으로 시스템을 운영할지, 그리고 이제는 무엇을 학습할지까지. 매번 같은 결론에 도달한다.

자동화는 효율을 만들고, 거버넌스 공백은 책임을 지운다.

그 책임의 공백을 메우는 것은 AI의 몫이 아니다. 그것은 여전히, 그리고 앞으로도, 인간의 몫이다.

파이프라인에게 서명을 요구할 수는 없다. 그러니 파이프라인 앞에 서명할 사람을 세워야 한다. 그것이 2026년 오늘, 우리가 AI 거버넌스에서 해야 할 가장 시급한 일이다.

---

이 글은 "AI 클라우드, 이제 ○○도 스스로 결정한다" 시리즈의 일부입니다. 시리즈의 다른 글들은 IAM 자동화, 재해복구 자동화, 데이터 삭제 자동화, 성능 최적화 자동화, 벤더 관계 자동화를 각각 다루고 있습니다.