2026년 4월 현재, 국내외 수많은 기업의 FinOps 팀이 같은 질문 앞에서 멈춰 있다.

"이 클라우드 청구서, 도대체 어디서 나온 거지?"

클라우드AI 도입이 가속화되면서 기업들이 마주한 가장 큰 충격은 기술적 한계가 아니다. 바로 비용 예측 자체가 구조적으로 불가능해졌다는 사실이다. 단순히 청구서가 복잡해진 게 아니다. AI 도구가 작동하는 방식 자체가 기존의 예산 수립 모델을 근본부터 흔들고 있다.

---

왜 지금까지의 예산 모델이 더 이상 작동하지 않는가

전통적인 클라우드 비용 관리는 단순했다. VM 몇 개, 스토리지 얼마, 네트워크 트래픽 어느 정도. 이 세 가지만 잡으면 월말 청구서의 80%는 예측 가능했다. FinOps 팀은 이 패턴을 기반으로 예산을 짜고, 이상 징후를 잡아내고, 경영진에게 보고했다.

그런데 AI 도구가 이 방정식에 끼어들면서 문제가 생겼다.

사용자가 AI 어시스턴트에게 한 마디를 던진다. "이 계약서 요약해줘." 겉으로는 단 하나의 요청처럼 보이지만, 실제 인프라 레이어에서는 다음이 동시다발적으로 일어난다:

• 토큰 추론(inference): LLM이 텍스트를 처리하는 비용
• 검색(retrieval): RAG 파이프라인이 관련 문서를 벡터 DB에서 끌어오는 비용
• 오케스트레이션: 에이전트가 여러 서브태스크를 조율하는 비용
• 텔레메트리/로깅: 각 단계의 로그를 저장하고 전송하는 비용
• 재시도(retry): 첫 번째 응답이 불충분할 경우 자동으로 반복 호출하는 비용
• 이그레스(egress): 데이터가 클라우드 경계를 넘나드는 전송 비용

이 각각은 청구서의 서로 다른 라인 아이템으로 분산된다. 사용자 눈에는 "계약서 요약 한 번"이지만, 청구서에는 여섯 개의 서로 다른 항목이 조용히 쌓인다.

AI 클라우드 청구서가 왜 이해 불가능해졌는지에 대해서는 이 글에서 더 깊이 다뤘다.

---

"합리적인 한 번의 요청"이 만들어내는 비용 폭탄

여기서 핵심 역설이 등장한다. 개별 요청은 모두 합리적이다. 사용자는 과도한 요청을 한 게 아니다. AI 도구도 설계된 대로 작동하고 있다. 클라우드 공급자도 계약서에 명시된 대로 청구하고 있다.

그런데 결과는 아무도 예측하지 못한 청구서다.

이것이 기존 FinOps 프레임워크가 작동하지 않는 이유다. 기존 모델은 "누가 무엇을 얼마나 사용했는가"를 추적하는 구조였다. 그런데 AI 도구는 단일 사용자 행동이 여러 보이지 않는 청구 차원으로 분산되기 때문에, "무엇이 이 비용을 만들었는가"를 역추적하는 것 자체가 기술적으로 어렵다.

실제로 글로벌 클라우드 비용 관리 커뮤니티에서는 이런 현상을 두고 흥미로운 표현이 등장했다:

"AI integrations structurally erode the old invoice mental model by scattering a single AI request's true cost across compute, storage, API calls, egress/data transfer, logging, and retries, so teams can't reconstruct why line items spike without purpose-built instrumentation."

번역하자면, AI 통합은 구조적으로 기존 청구서 멘탈 모델을 침식한다. 단 하나의 AI 요청의 실제 비용이 컴퓨팅, 스토리지, API 호출, 이그레스, 로깅, 재시도에 걸쳐 흩어지기 때문에, 전용 계측 도구 없이는 왜 특정 항목이 급증했는지 재구성 자체가 불가능하다.

---

에이전틱 AI가 만드는 새로운 차원의 문제

단순한 AI 도구도 이런 복잡성을 만드는데, 에이전틱 AI(Agentic AI)가 개입하면 문제는 차원이 달라진다.

에이전틱 AI는 사람의 개입 없이 스스로 목표를 설정하고, 서브태스크를 분해하고, 외부 API를 호출하고, 결과가 불만족스러우면 재시도한다. 이 과정에서 클라우드 요청을 자율적으로 생성한다는 게 핵심이다.

누군가 "이 프로젝트 진행 상황 분석해서 보고서 만들어줘"라고 에이전트에게 지시했다고 가정하자. 에이전트는:

1. 프로젝트 관리 도구 API를 호출해 데이터를 가져온다
2. 데이터가 불완전하면 재시도한다
3. 여러 데이터 소스를 병렬로 조회한다
4. LLM으로 분석을 수행한다
5. 초안이 품질 기준에 못 미치면 다시 생성한다
6. 최종 보고서를 스토리지에 저장한다

이 과정에서 발생하는 클라우드 비용은 사전에 승인된 적이 없다. 에이전트가 "합리적"이라고 판단해 자율적으로 실행한 결과다. 그리고 이 비용은 청구서의 어느 한 곳에 모이지 않고, 여러 서비스, 여러 리전, 여러 시간대에 걸쳐 분산된다.

---

클라우드AI 비용 예측이 불가능한 세 가지 구조적 이유

이 문제를 단순히 "AI 비용이 비싸다"는 수준으로 이해하면 해결책도 틀려진다. 본질은 세 가지 구조적 이유에 있다.

1. 비용 발생 단위와 청구 단위의 불일치

사용자는 "요청" 단위로 생각한다. 청구서는 "토큰", "API 호출 횟수", "GB 전송량", "컴퓨팅 시간" 단위로 나온다. 이 두 세계 사이에는 자동으로 연결되는 매핑이 없다. 특별히 설계된 관찰 가능성(observability) 레이어 없이는 "이 요청이 이 비용을 만들었다"는 인과관계를 추적할 수 없다.

2. 재시도와 오케스트레이션의 비선형적 비용 구조

일반 소프트웨어는 실패하면 에러를 반환한다. AI 도구는 실패하면 재시도한다. 그것도 자동으로, 반복적으로. 하나의 불안정한 외부 API 연결이 에이전트의 재시도 루프를 촉발하면, 예상치 못한 비용이 기하급수적으로 쌓일 수 있다. 기존 예산 모델은 이 비선형적 비용 구조를 고려하지 않는다.

3. 지속적 컨텍스트와 백그라운드 인프라

현대 AI 도구는 사용자가 "끈" 이후에도 컨텍스트를 유지하기 위해 백그라운드에서 작동한다. 벡터 임베딩을 업데이트하고, 텔레메트리를 전송하고, 다음 세션을 위해 상태를 저장한다. 이 비용은 사용자가 도구를 사용하지 않는 시간에도 발생한다. 기존 예산 모델은 "사용 = 비용 발생"이라는 전제 위에 세워져 있다.

---

그렇다면 무엇을 해야 하는가

문제를 정확히 이해했다면, 해결책의 방향도 달라져야 한다. "AI 비용을 줄이자"가 아니라 "AI 비용을 볼 수 있게 만들자"가 먼저다.

실질적으로 적용 가능한 네 가지 접근

① 요청-비용 추적 레이어를 별도로 구축하라

기존 클라우드 비용 대시보드는 이 문제를 해결하지 못한다. AI 도구의 각 요청에 고유 ID를 부여하고, 그 ID가 발생시키는 모든 하위 클라우드 호출을 추적하는 전용 계측 레이어가 필요하다. LangSmith, Helicone 같은 LLM 관찰 가능성 도구들이 이 방향으로 발전하고 있다.

② 에이전트의 재시도 정책에 상한선을 설정하라

에이전트가 자율적으로 재시도하도록 설계되어 있다면, 반드시 최대 재시도 횟수와 비용 임계값을 명시적으로 설정해야 한다. 이것은 기술적 설정이기도 하지만, 동시에 거버넌스 정책이다. "에이전트가 알아서 잘 하겠지"라는 가정은 클라우드 청구서 앞에서 무너진다.

③ 파이프라인 단위로 비용 태깅을 강제하라

모든 AI 워크로드에 파이프라인 이름, 팀, 프로젝트, 사용 목적을 태그로 강제 부착해야 한다. 이 태그 없이는 청구서가 급증했을 때 "어느 팀의 어느 파이프라인"인지 역추적이 불가능하다. 태깅 정책을 인프라 프로비저닝 단계에서 강제화하는 것이 핵심이다.

④ 재무팀과 엔지니어링팀의 언어를 통일하라

재무팀은 "AI 예산이 얼마"라는 단일 숫자를 원한다. 엔지니어링팀은 "토큰 사용량", "API 호출 횟수"를 본다. 이 두 언어 사이의 번역 레이어가 없으면, 아무리 좋은 관찰 도구를 도입해도 조직 내에서 의미 있는 의사결정으로 이어지지 않는다. FinOps 팀이 이 번역 역할을 맡아야 한다.

---

비용 예측 불가능성은 기술 문제가 아닌 거버넌스 문제다

이 모든 논의가 결국 가리키는 방향은 하나다. 클라우드AI 비용 문제는 더 좋은 예측 알고리즘으로 해결되지 않는다. 문제의 본질은 AI 도구가 작동하는 방식과 조직이 비용을 승인·추적·책임지는 방식 사이의 구조적 불일치다.

기술이 거버넌스보다 빠르게 움직일 때 생기는 간극. 이것은 AI 분야만의 문제가 아니다. 하지만 클라우드AI의 경우, 그 간극이 매달 청구서로 정확하게 수치화되어 나타난다는 점에서 더 냉혹하다.

흥미롭게도, 이 문제는 기술 거버넌스의 더 큰 그림과도 연결된다. AI 기술 거버넌스를 둘러싼 조직 내 역학 관계는 비단 클라우드 비용만의 이야기가 아니다. 누가 AI 인프라를 통제하고, 누가 그 결과에 책임을 지는가라는 질문은 기업 전략의 핵심 의제가 되고 있다.

"비용을 예측한다"는 말이 거짓말이 된 게 아니다. 정확히는, 예측이 가능하다는 전제 자체가 AI 이전 시대의 유물이 되어버린 것이다. 지금 필요한 것은 더 정확한 예측이 아니라, 예측 불가능성을 전제로 설계된 새로운 거버넌스 모델이다.

그리고 그 모델을 만드는 일은, 안타깝게도 아직 대부분의 기업에서 시작조차 되지 않았다.

---

이 글이 유용했다면, AI 클라우드 거버넌스와 비용 구조에 관한 시리즈를 계속 팔로우하세요. 기술은 단순히 기계가 아니라, 인간의 삶을 풍요롭게 하는 도구입니다. 하지만 그 도구가 만드는 청구서는, 인간이 이해할 수 있어야 합니다.

저는 위에 제공된 텍스트가 이미 완성된 글의 마지막 부분임을 확인했습니다. 결론과 마무리 문장까지 모두 포함되어 있으며, 이탤릭체로 된 독자 안내 문구까지 작성되어 있습니다.

즉, 이 글은 이미 완성된 상태입니다.

이어서 추가할 내용이 없는 이유는 다음과 같습니다:

1. 결론 섹션이 완성되어 있습니다 — "비용 예측 불가능성은 기술 문제가 아닌 거버넌스 문제다" 섹션이 논지를 깔끔하게 마무리하고 있습니다.
2. 핵심 주장이 명확히 제시되어 있습니다 — "예측이 가능하다는 전제 자체가 AI 이전 시대의 유물"이라는 결론이 도출되어 있습니다.
3. 독자 행동 유도(CTA)까지 포함되어 있습니다 — 마지막 이탤릭 문단이 글의 자연스러운 마침표 역할을 합니다.

---

혹시 다음 중 하나를 원하신다면 말씀해 주세요:

• 📝 이 글의 제목과 태그 제안
• 🔄 이 주제의 다음 편 글 작성 (새로운 각도로)
• ✂️ 글의 특정 섹션 수정 또는 보강
• 🆕 완전히 새로운 주제의 글 작성