AI 클라우드 환경에서 "최적화"라는 단어는 이제 거의 모든 벤더 피치의 첫 문장에 등장한다. 비용을 줄이고, 성능을 높이고, 리소스를 효율적으로 배분한다. 그런데 2026년 현재, 나는 이 단어 앞에 하나의 질문을 먼저 던져야 한다고 생각한다. "누구를 위한 최적화인가?"

이건 철학적 질문이 아니다. 매우 실무적인 문제다.

AI 클라우드 최적화의 주어가 바뀌고 있다

전통적인 클라우드 최적화의 구조는 단순했다. 엔지니어가 워크로드를 분석하고, 비용-성능 트레이드오프를 검토한 뒤, 인스턴스 타입을 조정하거나 스케줄링 정책을 바꾼다. 의사결정의 주어는 항상 사람이었다.

그런데 지금 AI 오케스트레이션 레이어가 이 구조에 끼어들면서 주어가 흐릿해졌다. AWS의 Bedrock 에이전트, Azure의 AI Foundry, Google의 Vertex AI Agent Builder 같은 도구들은 이제 단순히 태스크를 실행하는 것에 그치지 않는다. 이들은 런타임에 어떤 모델을 호출할지, 어떤 스토리지 티어를 쓸지, 어느 리전으로 트래픽을 보낼지를 스스로 결정한다.

그 결정의 기준은 무엇인가? 대부분의 경우, 그 기준은 벤더의 기본값(default)이다.

벤더의 기본값은 벤더의 이익 구조와 무관하지 않다. 더 비싼 모델을 기본으로 선택하거나, 더 많은 로깅을 기본으로 활성화하거나, 더 긴 컨텍스트 윈도우를 기본으로 사용하는 것이 "최적화"로 포장될 수 있다. 이것이 기업의 워크로드에 최적화된 것인지, 벤더의 매출에 최적화된 것인지를 구별하는 일이 점점 어려워지고 있다.

"최적화 에이전트"가 만드는 새로운 이해충돌

여기서 한 가지 구체적인 시나리오를 생각해보자.

한 중견 SaaS 기업이 AI 오케스트레이션 도구를 도입했다. 이 도구는 자동으로 RAG(Retrieval-Augmented Generation) 파이프라인을 구성하고, 쿼리 복잡도에 따라 호출할 LLM 모델을 런타임에 결정한다. "비용 효율적 라우팅"이 핵심 기능으로 홍보되었다.

6주 후, 이 기업의 클라우드 청구서는 예상보다 40% 높았다. 감사를 해보니 에이전트가 "복잡한 쿼리"로 분류한 비율이 전체의 78%였다. 복잡도 분류 임계값은 기본값으로 설정되어 있었고, 그 기본값은 더 비싼 모델을 더 자주 호출하는 방향으로 조정되어 있었다.

이것이 버그인가, 아니면 설계인가? 아마도 둘 다 아닐 것이다. 이것은 기본값의 이해충돌이다.

Amazon Bedrock의 비용 귀속 문제를 분석한 글에서도 지적했듯이, 비용 급등의 진짜 원인은 종종 사람이 명시적으로 승인한 배포가 아니라, AI 에이전트가 런타임에 자율적으로 내리는 결정들이다. 문제는 그 결정이 누구의 이익을 기준으로 내려지는가가 계약서 어디에도 명시되지 않는다는 점이다.

turned on monitoring screen

Photo by Stephen Dawson on Unsplash

AI 클라우드 거버넌스의 새로운 맹점: 최적화 목적함수

소프트웨어 엔지니어링에서 "목적함수(objective function)"는 알고리즘이 무엇을 극대화하거나 극소화하려 하는지를 정의한다. AI 최적화 에이전트에도 목적함수가 있다. 그런데 기업들은 대부분 이 목적함수가 무엇인지 모른다.

벤더가 공개하는 것은 대개 결과다. "평균 지연시간 23% 감소", "비용 18% 절감" 같은 수치들. 하지만 그 결과를 만들어내는 목적함수, 즉 에이전트가 트레이드오프를 어떻게 계산하는지는 블랙박스다.

이 블랙박스 안에는 몇 가지 가능성이 있다:

성능 우선: 응답 속도를 최우선으로 하되, 비용은 부차적 제약 조건으로 처리
비용 우선: 비용을 극소화하되, 성능 저하 임계값을 벤더가 설정
가용성 우선: 장애 가능성을 최소화하는 방향으로 리소스를 과잉 프로비저닝
수익 혼합: 벤더 입장에서 마진이 높은 서비스를 우선 활용

문제는 이 네 가지가 기업의 실제 비즈니스 목표와 항상 일치하지 않는다는 것이다. 그리고 기업은 대부분 자신이 어떤 목적함수 위에 올라타 있는지 계약 체결 전에 묻지 않는다.

Anthropic의 AI 정책 논의에서도 볼 수 있듯이, AI 시스템의 목적함수 투명성 문제는 이제 기업 거버넌스를 넘어 정책과 지정학의 영역까지 확장되고 있다. 기업 레벨에서 이 질문을 피하는 것은 점점 더 어려워질 것이다.

"누구를 위한 최적화인가"를 묻는 실무적 방법

이 문제를 인식했다면, 다음 단계는 실제로 무엇을 해야 하는가다.

1. 기본값 감사(Default Audit)를 정례화하라

AI 오케스트레이션 도구를 도입할 때, 모든 기본값 설정을 명시적으로 문서화하라. 특히 다음 항목에 집중해야 한다:

모델 선택 기준 (복잡도 분류 임계값, 폴백 모델 설정)
재시도 로직 (최대 재시도 횟수, 재시도 간격, 재시도 트리거 조건)
로깅 및 텔레메트리 범위 (무엇이 기록되고, 얼마나 오래 보존되는가)
스케일링 정책 (자동 확장 트리거, 최대 인스턴스 수)

이 기본값들이 기업의 비용-성능 목표와 일치하는지를 분기마다 검토하는 것이 필요하다.

2. 목적함수 공개를 계약 조건으로 요구하라

벤더와의 계약에 "최적화 에이전트의 목적함수 및 트레이드오프 기준을 문서화하여 제공"하는 조항을 넣는 것을 고려해야 한다. 이것이 처음에는 과도하게 느껴질 수 있지만, GDPR의 알고리즘 설명 요구권(Article 22)이 EU에서 이미 법적 선례를 만들고 있다는 점에서, 기업 계약 레벨에서도 유사한 투명성 요구가 확산될 가능성이 있다.

3. 최적화 결과를 기업 목표와 직접 연결하라

"비용 18% 절감"이라는 벤더 제공 지표를 그대로 수용하지 말고, 기업이 정의한 목표 지표와의 연결을 직접 측정해야 한다. 예를 들어:

고객 응답 만족도(CSAT)와 응답 지연시간의 상관관계
특정 워크로드 유형별 비용 대비 비즈니스 가치
AI 에이전트 개입 전후의 인프라 비용 변화

이 측정을 에이전트 외부에서, 독립적으로 수행하는 것이 핵심이다. 에이전트가 스스로 자신의 성과를 보고하는 구조는 신뢰하기 어렵다.

4. "최적화 거부권(Optimization Veto)"을 설계하라

AI 에이전트의 최적화 결정이 특정 임계값을 초과하는 비용 변화나 아키텍처 변경을 수반할 경우, 자동으로 인간 승인을 요구하는 회로 차단기(circuit breaker)를 설계해야 한다. 이것은 기술적으로 어렵지 않다. 어렵게 만드는 것은 "에이전트를 신뢰하면 더 빠르다"는 편의주의다.

최적화의 정치학

기술적 문제를 넘어, 이 이슈는 권력의 문제이기도 하다.

클라우드 인프라에서 "무엇을 최적화할지"를 결정하는 권한은 엄청난 영향력을 가진다. 그 권한이 AI 에이전트에게 위임되고, 그 에이전트의 목적함수가 벤더에 의해 설정된다면, 사실상 기업의 인프라 전략의 핵심 결정권이 벤더에게 넘어가는 셈이다.

이것을 과장이라고 보는 시각도 있다. 하지만 생각해보라. 10년 전, "우리 서버를 남의 데이터센터에 올린다"는 것도 처음에는 과장된 위험처럼 들렸다. 클라우드 마이그레이션이 가져온 벤더 종속(vendor lock-in) 문제는 지금도 많은 기업이 씨름하는 현실이다.

AI 오케스트레이션 레이어는 그 종속의 다음 레이어다. 그리고 이번에는 코드와 데이터뿐 아니라, 의사결정 로직 자체가 종속의 대상이 된다.

질문을 바꾸는 것이 시작이다

"AI가 클라우드를 얼마나 잘 최적화하는가"라는 질문은 이미 많은 곳에서 다뤄지고 있다. 하지만 "그 최적화가 누구의 이익을 기준으로 작동하는가"라는 질문은 아직 충분히 논의되지 않고 있다.

기술은 단순히 기계가 아니라, 인간의 삶을 풍요롭게 하는 도구다. 그리고 도구는 누가 설계하고, 누가 조정하고, 누가 그 결과로 이익을 얻는지에 따라 전혀 다른 의미를 가진다.

AI 클라우드 시대의 거버넌스는 "무엇이 실행되는가"를 통제하는 것에서 시작해야 하지만, 거기서 멈춰서는 안 된다. "그 실행의 기준이 누구의 것인가"를 묻는 것이 이제 진짜 거버넌스의 출발점이다.

그 질문을 먼저 하는 기업이, 다음 라운드의 AI 클라우드 경쟁에서 벤더의 기본값이 아닌 자신의 전략 위에 서 있을 수 있다.

Tags: AI 클라우드, 클라우드 거버넌스, AI 에이전트, 최적화, 벤더 종속, 기업 전략, 클라우드 비용

저는 위에 제공된 내용이 이미 완성된 글처럼 보입니다. 태그까지 포함된 완결된 구조를 가지고 있어서, 이 글 다음에 이어질 별도의 새로운 글을 작성해드리겠습니다.

AI 클라우드, 이제 "무엇을 최적화하는가"보다 "왜 그렇게 최적화하는가"를 물어야 한다

2026년 4월 19일 | 김테크

얼마 전 한 대기업 CTO와 대화를 나눴다. 그는 AI 오케스트레이션 도구를 도입한 지 6개월 만에 클라우드 비용이 눈에 띄게 줄었다고 했다. "에이전트가 알아서 최적화해주니 편하다"는 말과 함께. 나는 한 가지 질문을 던졌다.

"그 최적화가 어떤 기준으로 이루어졌는지 확인해보셨나요?"

잠시 침묵이 흘렀다.

최적화는 항상 누군가의 기준을 따른다

최적화(optimization)는 중립적인 단어처럼 들린다. 더 빠르게, 더 싸게, 더 효율적으로. 누가 반대할 수 있겠는가.

하지만 최적화는 언제나 목적함수(objective function)를 전제한다. 무엇을 기준으로 "더 좋다"고 판단하는가. 그리고 그 기준은 누가, 언제, 어떤 맥락에서 설정했는가.

전통적인 클라우드 환경에서 이 기준은 비교적 명확했다. 엔지니어가 비용 임계값을 설정하고, 아키텍트가 성능 기준을 정의하고, 경영진이 비즈니스 목표를 승인했다. 최적화의 기준은 사람의 언어로 쓰여 있었고, 문서로 남았으며, 감사(audit)가 가능했다.

AI 에이전트가 개입하면 이 구조가 흔들린다. 에이전트는 런타임에 스스로 판단한다. 그리고 그 판단의 기준, 즉 목적함수는 대부분 벤더가 사전에 설정한 기본값이다.

"왜"가 사라지는 순간, 거버넌스도 사라진다

AI 에이전트의 최적화 결정에는 흔히 "왜"가 빠져 있다. 에이전트는 결과를 보고한다. "스토리지 티어를 변경했습니다. 비용이 12% 절감되었습니다." 하지만 그 결정이 왜 지금 이 시점에, 이 워크로드에, 이 방식으로 이루어졌는지에 대한 설명은 로그 어딘가에 묻혀 있거나, 아예 기록되지 않는다.

이것이 단순한 투명성 문제처럼 보일 수 있다. 하지만 실제로는 훨씬 더 구조적인 문제다.

"왜"가 없으면 재현(reproducibility)이 불가능하다. 같은 상황에서 에이전트가 같은 결정을 내릴 것이라는 보장이 없다. 목적함수가 런타임 컨텍스트에 따라 달라질 수 있기 때문이다.

"왜"가 없으면 책임(accountability)도 흐릿해진다. 최적화 결정이 결과적으로 특정 서비스 저하나 규정 위반으로 이어졌을 때, 그 책임을 어디에 귀속시킬 것인가. 에이전트인가, 벤더인가, 이를 도입한 기업인가.

"왜"가 없으면 학습(learning)도 일어나지 않는다. 조직이 에이전트의 결정 패턴을 이해하지 못한 채 결과만 수용한다면, 그 조직은 AI에게 배우는 것이 아니라 AI에게 의존하게 된다.

목적함수의 정치학: 누가 "좋음"을 정의하는가

여기서 한 가지 불편한 질문을 던져야 한다.

벤더가 설정한 AI 에이전트의 목적함수는 과연 기업의 이익과 완전히 일치하는가?

표면적으로는 그렇게 보인다. 비용 절감, 성능 향상, 안정성 확보. 이것들은 기업도 원하고 벤더도 제공하고 싶어한다. 하지만 세부 기준에서 균열이 생긴다.

예를 들어, 특정 벤더의 AI 에이전트가 "비용 최적화"를 수행할 때, 그 에이전트가 자사 프리미엄 서비스보다 타사 서비스를 선호하는 방향으로 최적화할 가능성은 얼마나 되는가? 에이전트가 멀티클라우드 전략을 적극적으로 추천하는 방향으로 설계되어 있는가, 아니면 자사 생태계 내에서의 최적화를 우선하는가?

이 질문에 "당연히 중립적"이라고 답하는 벤더가 있다면, 그 중립성을 검증할 수 있는 수단을 함께 제공하는지 확인해야 한다. 검증 불가능한 중립성 주장은 중립성이 아니다.

세 가지 "왜" 질문을 제도화하라

그렇다면 기업은 어떻게 해야 하는가. 나는 AI 에이전트의 최적화 결정에 대해 세 가지 "왜" 질문을 제도화할 것을 제안한다.

왜 지금인가 (Why now?)

AI 에이전트의 최적화 개입 시점은 임의적이어서는 안 된다. 어떤 조건이 충족되었을 때 에이전트가 개입하는가를 명시적으로 정의하고, 그 조건이 실제로 충족되었는지를 사후에 확인할 수 있어야 한다. "에이전트가 판단했다"는 설명은 거버넌스 문서가 될 수 없다.

왜 이 방식인가 (Why this way?)

에이전트가 선택한 최적화 방식이 가능한 대안들 중 어떤 기준으로 선택된 것인지를 추적할 수 있어야 한다. 스토리지 티어를 낮추는 방식을 선택했다면, 캐싱 전략이나 요청 라우팅 변경 같은 대안은 왜 선택되지 않았는가. 이 "선택의 논리"가 기록되지 않으면, 에이전트의 결정 패턴을 이해하거나 개선할 방법이 없다.

왜 이것이 좋은 결과인가 (Why is this good?)

가장 중요하면서도 가장 자주 생략되는 질문이다. 에이전트가 보고하는 "개선 지표"가 기업이 실제로 중요하게 여기는 비즈니스 가치와 연결되어 있는지를 독립적으로 검증해야 한다. 비용이 줄었지만 고객 경험이 나빠졌다면, 그것은 최적화인가 아니면 트레이드오프의 은폐인가.

"왜"를 기록하는 인프라를 만들어라

이 세 가지 질문에 답하려면, 기술적 인프라가 필요하다. 구체적으로는 다음과 같은 요소들이다.

결정 로그(Decision Log)의 구조화: 단순한 실행 로그가 아니라, 에이전트의 결정 맥락(어떤 상태에서, 어떤 옵션을 고려했으며, 어떤 기준으로 선택했는가)을 구조화된 형태로 기록하는 시스템이 필요하다. 이것은 벤더에게 요구해야 할 사항이기도 하고, 기업이 자체적으로 보완해야 할 레이어이기도 하다.

목적함수 감사(Objective Function Audit): 에이전트의 목적함수가 초기 설정 이후 변경되었는지, 벤더 업데이트를 통해 조용히 수정되지는 않았는지를 정기적으로 확인하는 프로세스가 필요하다. 목적함수는 코드이고, 코드는 변한다.

독립적 성과 측정(Independent Outcome Measurement): 에이전트 외부에서, 기업이 정의한 기준으로 최적화 결과를 측정하는 독립적 시스템을 구축해야 한다. 에이전트가 스스로 자신의 성과를 보고하는 구조에만 의존하는 것은, 학생에게 자신의 시험지를 직접 채점하게 하는 것과 다르지 않다.

편의주의의 유혹을 경계하라

솔직히 말하자. "왜"를 묻는 것은 번거롭다.

에이전트가 알아서 최적화해주고, 비용이 줄고, 성능이 유지된다면, 굳이 그 내부 논리를 파헤칠 이유가 있을까? 그 시간에 다른 혁신적인 일을 할 수 있지 않을까?

이 유혹은 강력하다. 그리고 단기적으로는 실제로 작동하는 것처럼 보인다.

하지만 기억해야 할 것이 있다. 클라우드 초기에 "일단 올리고 나중에 거버넌스를 정비하자"는 접근이 지금 얼마나 많은 기업에게 벤더 종속과 보안 부채로 돌아왔는지를. AI 에이전트의 "왜"를 묻지 않는 편의주의는, 그보다 더 빠른 속도로 더 깊은 의존 구조를 만들어낼 가능성이 높다. 왜냐하면 이번에는 인프라뿐 아니라 판단 구조 자체가 외부화되기 때문이다.

결론: "왜"를 묻는 조직이 AI 시대의 주인이 된다

AI 클라우드 거버넌스의 논의는 지금까지 주로 "무엇을 통제하는가"에 집중되어 왔다. 무엇이 배포되는가, 무엇이 실행되는가, 무엇이 청구되는가, 무엇이 기억되는가. 이 모든 질문은 중요하다. 그리고 나 역시 이 시리즈에서 그 질문들을 하나씩 다뤄왔다.

하지만 오늘 내가 말하고 싶은 것은 이것이다. "무엇"의 질문들 아래에는 항상 "왜"의 질문이 있다. 그리고 그 "왜"를 묻지 않는 조직은, AI 에이전트를 운용하는 것이 아니라 AI 에이전트에게 운용당하는 것이다.

기술은 단순히 기계가 아니라, 인간의 삶을 풍요롭게 하는 도구다. 그 도구가 왜 그렇게 작동하는지를 이해하지 못한 채 결과만 수용하는 것은, 도구를 사용하는 것이 아니라 도구에 의존하는 것이다.

AI 에이전트에게 "왜"를 묻는 것. 그 질문을 제도화하고, 기록하고, 검증하는 것. 이것이 2026년 현재, AI 클라우드 시대의 거버넌스가 반드시 갖춰야 할 다음 레이어다.

그 레이어를 먼저 쌓는 조직이, 벤더의 목적함수가 아닌 자신의 전략 위에서 AI를 운용할 수 있다. 그것이 진짜 AI 시대의 경쟁력이다.

Tags: AI 클라우드, 클라우드 거버넌스, AI 에이전트, 목적함수, 최적화, 벤더 종속, 의사결정 투명성, 기업 전략

NOCODE TECH STACKER

AI 클라우드, 이제 "무엇을 최적화하는가"가 아니라 "누구를 위해 최적화하는가"를 물어야 한다