클라우드 인프라를 운영하는 엔지니어라면 한 번쯤 이런 경험을 했을 것이다. 새벽 3시에 알람이 울렸는데, 정작 중요한 장애는 이미 두 시간 전에 시작됐고 모니터링 시스템은 그걸 조용히 흘려보냈다. 문제는 AI tools가 클라우드 환경에서 단순히 "알람을 더 잘 보내는" 수준을 넘어서고 있다는 점이다. 이제 이 도구들은 무엇을 관찰할지, 어떤 지표를 수집할지, 심지어 어떤 이상 신호를 무시할지를 런타임에서 스스로 결정한다.

그리고 그 결정을 승인한 인간은 어디에도 없다.

---

관찰 가능성(Observability)의 조용한 권력 이동

전통적인 클라우드 모니터링은 단순했다. 엔지니어가 메트릭을 정의하고, 임계값을 설정하고, 알람 규칙을 만든다. 인간이 "무엇을 볼지"를 명시적으로 결정하는 구조였다.

그런데 2024년을 전후해 주요 클라우드 벤더들이 앞다퉈 AI 기반 관찰 가능성 도구를 출시하면서 이 구조가 근본적으로 바뀌기 시작했다. AWS의 Amazon DevOps Guru, Google Cloud의 Cloud Operations Suite, Datadog의 Watchdog, Dynatrace의 Davis AI 같은 도구들은 이제 메트릭 수집 대상과 이상 감지 패턴을 스스로 학습하고 조정한다.

표면적으로는 편리해 보인다. 수천 개의 마이크로서비스에서 발생하는 신호를 인간이 일일이 정의하는 건 사실상 불가능하니까. 하지만 여기서 간과하기 쉬운 질문이 있다.

"AI가 관찰하지 않기로 결정한 것은 무엇인가?"

이 질문에 답할 수 있는 조직은 2026년 현재 거의 없다고 봐도 과언이 아니다.

---

AI tools가 만드는 "관찰의 사각지대"

AI 기반 관찰 가능성 시스템이 작동하는 방식을 조금 더 들여다보자. 이 시스템들은 대체로 다음과 같은 자율 결정을 런타임에서 수행한다.

1. 수집 대상 메트릭의 동적 선택

모든 메트릭을 수집하면 비용이 폭발한다. 그래서 AI tools는 "중요도가 낮다고 판단되는" 메트릭의 수집 빈도를 줄이거나 아예 제외하는 결정을 자동으로 내린다. Dynatrace의 공식 문서에 따르면, Davis AI는 수백만 개의 의존성 관계를 실시간으로 분석해 "관련성 높은" 신호만 처리하도록 설계됐다.

문제는 "관련성 낮음"으로 분류된 메트릭이 규정 준수 감사에서 핵심 증거가 될 수 있다는 점이다. AI가 비용 효율을 위해 조용히 삭제한 데이터가 나중에 SOC 2 감사나 금융당국 조사에서 필요해지는 상황을 상상해보라.

2. 이상 감지 기준선의 자율 재설정

AI 기반 이상 감지는 정적 임계값 대신 동적 기준선(dynamic baseline)을 사용한다. 트래픽 패턴이 바뀌면 AI가 "정상 범위"를 자동으로 재정의한다. 이는 분명 기술적으로 우수한 접근이다.

하지만 여기에 심각한 거버넌스 공백이 있다. 기준선이 재설정될 때 변경 관리 티켓이 생성되는가? 어떤 데이터를 기반으로 재설정됐는지 감사 로그에 남는가? 재설정 이전과 이후의 "정상 정의"를 비교할 수 있는가?

대부분의 조직에서 이 질문들에 대한 답은 "아니오"다.

3. 알람 억제(Alert Suppression)의 자율 판단

AI tools의 가장 논란적인 기능 중 하나가 바로 알람 억제다. 수많은 중복 알람 속에서 "노이즈"를 걸러내는 것은 분명 가치 있는 기능이다. 그런데 AI가 "이건 노이즈"라고 판단해 억제한 알람이 실제로는 보안 침해의 초기 신호였다면?

이 시나리오는 가상이 아니다. 2025년 발표된 여러 보안 사고 분석 보고서들은 AI 기반 모니터링 도구의 알람 억제 기능이 공격자의 초기 정찰 활동을 "정상 패턴"으로 오분류한 사례를 지목하고 있다. AI가 "보지 않기로 결정"한 것이 침해의 시작점이 된 것이다.

---

"관찰하지 않음"의 책임은 누가 지는가

이 지점에서 이전에 다뤄온 AI 클라우드 거버넌스 시리즈의 핵심 주제가 다시 등장한다. 자격증명 선택, 인프라 프로비저닝, 데이터 삭제, 통신 프로토콜 결정에 이어 이제 관찰 범위의 결정까지 AI가 자율적으로 수행하고 있다.

그리고 모든 경우에 동일한 문제가 반복된다. 결정은 AI가 했지만, 책임은 인간 조직이 진다.

규제 환경을 살펴보면 이 문제의 심각성이 더욱 선명해진다. EU의 AI Act는 고위험 AI 시스템에 대해 인간 감독(human oversight)을 명시적으로 요구한다. GDPR Article 22는 자동화된 의사결정에 대한 설명 가능성을 보장할 의무를 부과한다. 금융 서비스 분야의 경우 Basel III 프레임워크 하에서 리스크 모니터링 체계의 완전성을 입증해야 한다.

AI가 "이 메트릭은 수집하지 않겠다"고 결정했을 때, 그 결정이 규제 요건을 충족하는지 검토한 거버넌스 프로세스가 있었는가? 거의 확실하게 없었을 것이다.

Anthropic과 Amazon의 대규모 클라우드 AI 투자가 보여주듯, 클라우드 인프라와 AI의 통합은 이미 수십억 달러 규모의 전략적 방향이 됐다. 이 흐름은 되돌릴 수 없다. 문제는 통합의 속도가 거버넌스 체계 구축 속도를 훨씬 앞서고 있다는 점이다.

---

거버넌스 공백을 좁히는 실질적 접근

추상적인 우려를 넘어, 지금 당장 조직에서 적용할 수 있는 접근을 정리해보자.

AI tools의 관찰 범위를 명시적으로 감사하라

분기에 한 번이라도 AI 기반 모니터링 도구가 수집하지 않기로 결정한 메트릭 목록을 추출해 검토해야 한다. 대부분의 도구가 이 정보를 API나 대시보드로 제공하지만, 아무도 들여다보지 않는 경우가 태반이다.

체크리스트 형태로 접근하면 효과적이다:

• 지난 30일간 수집 빈도가 자동으로 줄어든 메트릭은 무엇인가?
• 알람 억제 규칙이 AI에 의해 자동 생성된 것은 몇 개인가?
• 이상 감지 기준선이 재설정된 횟수와 그 근거는 무엇인가?

관찰 범위의 "최소 보장선"을 인간이 정의하라

AI에게 최적화를 맡기되, 절대 수집을 중단해서는 안 되는 메트릭 집합은 인간이 명시적으로 정의하고 잠금(lock) 처리해야 한다. 이를 "관찰 플로어(Observation Floor)"라고 부를 수 있다.

규제 컴플라이언스 요건, 보안 감사 요구사항, SLA 계약 조건을 기반으로 이 플로어를 정의하고, AI가 이 범위를 축소하려 할 때 자동으로 차단되거나 인간 승인을 요청하도록 구성해야 한다.

AI 결정의 "관찰 로그"를 별도로 유지하라

AI tools 자체가 내린 결정—어떤 메트릭을 제외했는지, 기준선을 어떻게 바꿨는지, 어떤 알람을 억제했는지—을 별도의 불변(immutable) 로그로 저장해야 한다. 이 로그는 AI가 관리하는 시스템과 분리된 저장소에 보관하는 것이 원칙이다.

왜 분리가 중요한가? AI 시스템이 자신의 결정 로그도 관리한다면, 그 로그의 신뢰성을 누가 보장하는가? 이는 마치 피의자에게 자신의 진술서를 직접 작성하게 하는 것과 다르지 않다.

규제 컴플라이언스 팀을 모니터링 아키텍처 결정에 포함하라

기술팀과 컴플라이언스 팀이 분리된 사일로에서 운영되는 조직이 많다. AI 기반 관찰 가능성 도구를 도입하거나 설정을 변경할 때, 컴플라이언스 팀이 "이 AI의 관찰 범위 결정이 우리 규제 요건을 충족하는가"를 사전에 검토하는 프로세스가 필요하다.

---

관찰 가능성 자체를 관찰해야 하는 역설

네트워크 인프라의 복잡성이 증가할수록 거버넌스의 중요성도 함께 커진다는 점은 네트워크 인프라의 지각변동을 다룬 분석에서도 확인된다. AI가 클라우드의 신경망 역할을 하게 되면서, 그 신경망 자체를 어떻게 감시할지가 새로운 과제로 부상하고 있다.

여기서 우리는 흥미로운 역설에 도달한다. AI tools가 클라우드를 관찰하는 주체가 됐다면, AI tools 자체를 관찰하는 체계는 무엇인가?

이 질문은 단순한 기술적 문제가 아니다. 관찰 가능성은 클라우드 거버넌스의 가장 기초적인 전제 조건이다. "우리가 무엇을 보고 있는가"를 알아야 "우리가 무엇을 놓치고 있는가"를 논할 수 있다. 그런데 AI가 "무엇을 볼지"를 결정하기 시작하면, 우리는 AI가 보여주는 세계만 볼 수 있게 된다.

이것은 편의의 문제가 아니라 인식론적 통제권의 문제다. 조직이 자신의 인프라에 대해 알 수 있는 것과 알 수 없는 것의 경계를 AI가 그리기 시작했다는 의미이기 때문이다.

2026년 현재, 이 경계를 다시 인간의 손으로 가져오는 작업이 클라우드 거버넌스의 가장 시급한 과제 중 하나로 보인다. AI tools의 능력을 활용하되, 그 능력이 작동하는 범위를 정의하는 권한은 여전히 인간이 쥐고 있어야 한다.

기술은 단순히 기계가 아니라, 인간의 삶을 풍요롭게 하는 도구다. 하지만 그 도구가 "무엇을 볼지"까지 결정하기 시작할 때, 도구와 주인의 관계는 조용히 역전된다. 그 역전을 알아채는 것, 그것이 지금 우리에게 필요한 첫 번째 관찰이다.

---

이 글은 AI 클라우드 거버넌스 시리즈의 일환으로, 에이전틱 AI가 클라우드 인프라의 다양한 결정 영역에서 인간 승인 없이 자율적으로 행동하는 문제를 다루고 있습니다. 자격증명 선택, 프로비저닝, 삭제, 통신 프로토콜, 실행 우선순위, 학습 데이터 선택, 패치 관리에 이어 이번 글에서는 관찰 범위의 자율 결정을 다뤘습니다.

다음 글 예고: AI가 "무엇을 신뢰할지"를 결정한다

이 시리즈는 계속된다. 다음 편에서는 에이전틱 AI가 클라우드 환경에서 신뢰 관계 자체를 런타임에 재정의하는 문제를 다룰 예정이다.

어떤 서비스가 어떤 서비스를 신뢰할 수 있는지, 어떤 인증서가 유효한지, 어떤 엔드포인트가 안전한지를 AI가 동적으로 판단하기 시작하면 — 그 판단의 근거를 사후에 재구성할 수 있는가? 그 신뢰의 사슬을 끊거나 이을 권한은 누구에게 있는가?

관찰 가능성이 "무엇을 보는가"의 문제였다면, 신뢰는 "누구를 믿는가"의 문제다. 그리고 그 믿음의 결정권이 AI에게 넘어가는 순간, 클라우드 보안의 근간이 흔들린다.

---

tags: AI 클라우드, 에이전틱 AI, 관찰 가능성, 거버넌스, 클라우드 보안, 오케스트레이션, 인식론적 통제