가려진 청구서 — 안전장치를 붙일수록 연산은 배수로 늘어난다.
토큰 단가는 해마다 내려간다. 캐싱은 입력 비용을 약 90%, 배치 처리는 50%를 깎아준다. 그런데 현장의 청구서는 반대로 움직인다. 파일럿은 손익에 잡히는 성과를 내지 못하고, 에이전트 프로젝트는 비용 문제로 취소된다. 단가가 내려가는데 비용 때문에 실패한다면, 문제는 단가가 아니라 구조다.
이 글은 그 간극을 세 가지 구조로 설명한다.
첫째, 증폭(Amplification). 가드레일과 품질 기법이 요청 1건을 호출 3~5건으로 만들고, 에이전트에서는 토큰 소비가 모델에 따라 최대 77배까지 벌어진다.
둘째, 검증세(Verification Tax)와 고정비. 대규모에서는 인간 검토 인건비가 토큰 요금을 추월하고, 거버넌스와 평가 체계는 트래픽과 무관한 고정비로 깔린다.
셋째, 플랫폼 리스크(Platform Risk). 벤더 기능에 결합한 최적화 전략은 벤더의 정책 변경 한 번에 수명이 끝난다.
실제 청구서는 토큰 단가표 밖에서 쌓인다. 하나씩 열어 보자.
역설: 토큰은 싸지는데 프로젝트는 실패한다.
숫자부터 보자. MIT NANDA(2025)에 따르면 생성형 AI 파일럿의 95%가 손익에 잡히는 성과를 내지 못했다. Gartner(2025.6)는 에이전틱 AI 프로젝트의 40% 이상이 2027년 말까지 취소될 것으로 전망했고, McKinsey의 State of AI 조사에서는 기업의 80% 이상이 생성형 AI의 전사 EBIT 기여를 체감하지 못한다고 답했다.
같은 기간 프롬프트 캐싱은 입력 비용을 약 90%, 배치 처리는 50% 깎아줬다. 단가는 분명히 내려갔다. 그런데도 프로젝트가 비용 문제로 죽는다면, 우리는 엉뚱한 숫자를 보고 있었던 것이다.
"무제한"이 사라진 날 — 계량기가 돌기 시작했다.
2026년 7월, 상징적인 사건이 있었다. Anthropic이 최상위 모델 Claude Fable 5의 구독 플랜(Pro/Max/Team) 번들 제공을 끝내고 종량제 사용 크레딧으로 전환한다고 공지한 것이다. 당초 7월 7일 예정이었던 전환은 사용자 반발과 경쟁 모델 출시가 겹치며 두 차례 연장됐고, 현재 기준 구독 포함 제공(주간 한도의 50%까지)은 7월 19일까지, 종량제 크레딧은 7월 20일부터 적용된다. Anthropic은 이를 수요 대비 용량 부족에 따른 일시 조치라 설명하며, 여력이 확보되는 대로 구독 플랜에 복귀시키겠다고 밝혔다. 다만 날짜는 미뤄졌을 뿐 구조는 그대로다 — 계량기는 켜진다.
단가는 입력 $10 / 출력 $50(백만 토큰) — 일반 공개 모델 중 최고가다. 프롬프트 캐시 적중 시 입력 90% 할인이 있지만, 핵심은 할인율이 아니다. 에이전트 루프를 고정비로 돌리던 팀이 하룻밤 새 토큰 계량기 앞에 서게 됐다는 것이다. 최적화되지 않은 루프 하나가 곧바로 현금 손실이 된다.
"단가표의 시대가 끝난 게 아니라, 단가표만 보던 시대가 끝났다."
*출처: Anthropic, Redeploying Claude Fable 5 · TechTimes · Digital Applied · Forbes (2026.7)*
1. 증폭의 구조 — 요청 1건이 호출 5건이 되는 이유
가드레일 산수: 안전한 응답 1건의 원가는 생성의 3배~5배
프로덕션에서 사용자 요청 1건은 LLM 호출 1건이 아니다. ① 입력 셀프체크 → ② 본 생성 → ③ 출력 셀프체크 → ④ 사실성 검증 → ⑤ 환각 체크. 안전장치를 표준 구성으로 붙이는 순간, 응답 1건의 원가는 생성 원가의 3~5배에서 출발한다.
그리고 방어를 쌓아도 위험은 0이 되지 않는다. Anthropic의 브라우저 에이전트는 방어 도입 후 프롬프트 인젝션 성공률을 23.6%에서 11.2%로 낮췄다 — 절반으로 줄었지만, 여전히 일부는 통과한다는 뜻이다.
가드레일은 자산이 아니라 구독료다. 모델과 공격 기법이 바뀔 때마다 갱신해야 하는 상시 비용이기 때문이다.
*출처: NVIDIA NeMo Guardrails · Rebedea et al. (2023) · Anthropic, Claude for Chrome (2025.8)*
품질 기법은 호출 수를 곱한다.
품질과 컨텍스트를 위한 기법들은 저마다 배수를 하나씩 들고 온다.
| 기법 | 배수 | 비고 |
|---|---|---|
| LLM-as-a-judge | × 2 | 생성 1회 + 심판 1회 |
| Best-of-N 샘플링 | × N | 자기비판(self-critique) 루프도 반복 횟수만큼 |
| 추론(Reasoning) 토큰 | × 3~10 | 보이지 않는 내부 추론을 출력 단가로 과금 |
| RAG · 멀티스텝 에이전트 | 입력 × 수배 | 검색 주입 + 스텝마다 누적 히스토리 재전송 |
| 272K 장문맥 할증 | × 1.5~2 | GPT-5.5는 $10/$45로 — 2026년 신설, 가장 흔히 놓치는 항목 |
정리하면 이렇다.
요청당 비용 = 호출 수 × 호출당 토큰 × 토큰 단가
셋 중 단가만 내려간다. 나머지 두 항은 품질·안전 요구가 높아질수록 오히려 커진다.
*출처: OpenAI 가격 문서 (2026.7 확인)*
같은 80점, 청구서는 7배 — 단가표가 뒤집히는 순간
에이전트 벤치마크 VulcanBench v2(2026.7)의 결과는 단가표의 배신을 그대로 보여준다. 세 모델 모두 과업 달성도는 8/10으로 동일했다.
| 모델 (설정) | 단가 입/출 ($/1M) | 과업 달성 | 총비용 | 소요 시간 | 총 토큰 |
|---|---|---|---|---|---|
| Claude Fable 5 (low) | 10 / 50 | 8/10 | $2.27 | 14분 | 0.14M |
| Claude Sonnet 5 (high) | 2 / 10 (도입가) | 8/10 | $8.41 | 59분 | 1.75M |
| GLM-5.2 (high, 오픈웨이트) | 약 0.94–1.40 / 3–4.40 | 8/10 | $15.81 | 124분 | 10.82M |
Fable 5를 1로 놓으면 — 비용 ×3.7 / ×7.0, 시간 ×4.2 / ×8.9, 토큰 ×12.5 / ×77.
토큰 단가가 가장 싼 모델이 총비용은 가장 비쌌다. 단가표가 총비용을 대표하는 구간은 — 적어도 에이전트에서는 — 사실상 없다.
*참고: 총비용·달성률은 벤치마크 운영자(Morgan Linton)의 공개 게시물로 확인. 시간·토큰 세부치는 결과 이미지 기반이므로 1차 출처 재확인을 권장(배수는 산술 정합). 단가 출처: Anthropic / Z.ai 공개 가격.*
컨텍스트 복리의 저주 — 낮은 지능은 자기 실수를 매번 다시 읽는다.
왜 이런 역전이 생기는가. 에이전트는 자기회귀 루프다. 코드 실행 결과와 에러 로그가 컨텍스트에 계속 쌓이고(누적, Append), 틀릴수록 로그가 길어지며, 다음 스텝은 그 전체를 다시 읽는다(재독, Re-read). 입력 토큰이 복리로 증가하는 구조다.
숫자로 보면 이렇다. 동일 과업을 2회 실행했을 때 총 토큰의 최대 편차는 30배였고, 토큰을 더 써도 정확도는 오르지 않았다. 멀티에이전트 구성은 단일 채팅 대비 토큰을 15배(에이전트 단독은 약 4배) 소비했으며, 토큰 사용량이 성능 분산의 약 80%를 설명했다. 4천 토큰짜리 시스템 프롬프트가 20턴 동안 반복 재전송되면 그것만으로 8만 토큰 — 실제 워크플로의 약 16%가 이런 재전송이었다.
결론은 하나다. 첫 시도 정답률(first-shot correctness)이 곧 실효 단가다. 지능이 비용 구조 그 자체라는 뜻이다.
*출처: arXiv:2604.22750 · Anthropic Engineering (멀티에이전트 리서치 시스템) · DEV / Waxell*
2. 단위 경제학 — 규모별로 본 비용의 실체
2026년 7월 가격표: 토큰비 자체는 놀랄 만큼 작다.
| 모델 | 입력 $/1M | 출력 $/1M | 비고 |
|---|---|---|---|
| GPT-5.5 | 5.00 | 30.00 | 272K 초과 시 10.00 / 45.00 |
| GPT-5.4 | 2.50 | 15.00 | 272K 초과 시 5.00 / 22.50 |
| GPT-5.4 nano | 0.20 | 1.25 | — |
| Claude Opus 4.8 / Sonnet 4.6 | 5.00 / 3.00 | 25.00 / 15.00 | 타사 플래그십도 유사 구간 |
| Claude Fable 5 | 10.00 | 50.00 | 구독 포함은 7.19까지(주간 한도 50%) → 2026.7.20부 종량제 크레딧(두 차례 연장) · 캐시 적중 시 입력 −90% |
| Claude Sonnet 5 | 2.00 | 10.00 | 도입가(~8.31), 이후 3.00 / 15.00 · 신형 토크나이저로 토큰 약 +30% |
| GLM-5.2 (오픈웨이트) | 0.94–1.40 | 3.00–4.40 | Zhipu/Z.ai · 약 750B급 MoE(활성 ~40B) · MIT 라이선스 |
블렌디드 단가(입력 70% / 출력 30% 가정)로 환산하면, 수백 명 규모 파일럿(월 1천만 토큰)의 GPT-5.4 토큰비는 월 $62.5에 불과하다. 전사 배포(월 10억 토큰)로 가도 $6,250. 문제는 청구서의 다른 줄들이다.
*출처: OpenAI · Anthropic · Z.ai 가격 페이지 (2026.7 확인)*
검증세 — 인간 검토가 토큰비를 추월한다.
월 10억 토큰 규모에서 세 줄을 나란히 놓아 보자.
| 항목 (월 10억 토큰 기준) | 월 비용 |
|---|---|
| 토큰비 (GPT-5.4 블렌디드) | $6,250 |
| 인간 검토 0.5% (월 139시간) | $8,334 |
| 인간 검토 2.0% (규제 산업 수준) | $33,336 |
검토율 0.5%만 돼도 인건비가 토큰비를 넘어서고, 규제 산업 수준인 2%면 토큰비의 5배를 넘긴다. 여기서 세 가지를 기억해야 한다.
검증세는 모델이 좋아져도 0이 되지 않는다. 모델 성능의 함수가 아니라 규제·리스크 요구사항의 함수이기 때문이다. 그리고 대규모일수록 토큰비보다 빠르게 자란다. 마지막으로, 추정하지 말고 실측하라. 검증 호출은 본 생성보다 짧아서 증폭률은 설계에 따라 크게 달라진다.
*본문 산식(자체 계산): 요청당 1,200토큰 · 검토 건당 2분 · 시급 $60 가정 · GPT-5.4 블렌디드 단가*
자체 호스팅 손익분기 — 월 64억 토큰, 그러나 조건부다.
"그럼 자체 호스팅하면 되지 않나?" AWS p5.48xlarge(8×H100)는 온디맨드 $55.04/시, 월 $40,179다. GPT-5.4 블렌디드 단가로 나누면 월 약 64억 토큰이 명목 분기점이다. 그러나 이 분기점에는 조건이 셋 붙는다.
첫째, 품질 동등성 보장이 없다. 8×H100에서 서빙 가능한 오픈웨이트가 프런티어 API와 동급이라는 보장이 없고, 품질을 보정하면 분기점은 더 멀어진다. 둘째, 이중화와 MLOps 인력이 별도다. vLLM PagedAttention이 처리량을 2~4배 올릴 수 있지만, 그 엔지니어링 역량 자체가 인건비다. 셋째, 예약형 가격은 변동한다. Capacity Blocks P5는 2026년 7월 7일부로 GPU당 $5.191로 조정됐고, 수급에 따라 주기적으로 바뀐다.
여기서 규모의 역설이 드러난다. 소규모에서는 고정비(도구·거버넌스·인력)가, 대규모에서는 검증세와 전용 인프라가 지배한다. 토큰 단가표가 총비용을 대표하는 구간은 생각보다 좁다.
*출처: Vantage 인스턴스 트래커 (us-east-1) · AWS Capacity Blocks 가격 페이지 · Kwon et al., SOSP 2023*
3. 토큰 밖의 비용 지도 — 규제·사례·프레임워크
여섯 개의 숨은 청구 항목
| 항목 | 왜 청구서에 오르나 |
|---|---|
| 평가·관측 (Evals & Observability) | 일회성이 아닌 상시 비용. 모델 업데이트마다 회귀 평가, 트레이싱은 트래픽에 비례 |
| 안전 도구 단가 (Safety Tooling) | Azure Content Safety는 1,000자 단위 과금 · 검색 그라운딩은 1,000건당 $35. 전 요청에 곱해진다 |
| 데이터 거버넌스 (Data Governance) | 5TB 코퍼스 기준 민감정보 스캔 약 $5,120 + 비식별화 GB당 $2. 모델 호출 전에 발생 |
| 벡터 인프라 (Vector Infra) | 저장 GB·월 $0.33 + 읽기/쓰기 유닛. 코퍼스와 질의량에 비례하는 제2의 토큰비 |
| 섀도우 AI (Shadow AI) | 침해 사고의 20%에 연루, 평균 +$670K 피해. 도입을 미루면 비용은 통제 불가능한 형태로 이연 |
| 플랫폼 리스크 (Platform Risk) | OpenAI 셀프서브 파인튜닝이 1년 만에 축소(2026.5). 벤더 기능에 결합한 전략의 수명은 벤더 로드맵에 종속 |
*출처: Azure Content Safety · Google AI · AWS Macie · Pinecone 가격 페이지 · IBM Cost of a Data Breach 2025 · OpenAI Deprecations (2026.5.7)*
규제 타임라인 — 연기됐을 뿐 사라지지 않았다
| 시점 | 내용 |
|---|---|
| 2026.1.22 | 한국 AI 기본법 시행 — 고영향 AI 사업자 책무 법정 의무화. 이미 시행 중 |
| 2026.8.2 | EU AI Act Art.50 투명성 의무 — AI 상호작용 고지. 연기 없이 예정대로 |
| 2026.12.2 | 워터마킹 의무 — AI 생성 콘텐츠 표시 |
| 2027.12.2 | Annex III 고위험 의무 — Omnibus로 16개월 연기 확정 |
| 2028.8.2 | Annex I 내장형 — 규제 제품 내장 AI 의무 적용 |
'연기'는 '부담 소멸'이 아니다. 옴니버스 개정안은 6월 16일 유럽의회, 6월 29일 EU 이사회의 최종 승인을 거쳐 확정됐다. 인벤토리 구축, 고위험 분류, 기술 문서화는 2027년 말 기한에 맞추려면 지금 시작해야 한다. 제재 상한은 여전히 3,500만 유로 또는 글로벌 매출의 7%. 규제 대응은 인력·문서화·시스템의 삼중 비용으로 청구된다.
*출처: EU 이사회 (2026.5.7) · Gibson Dunn · DLA Piper · 국가법령정보센터*
현장 사례 — 검증세는 산업마다 다른 시점에 온다.
제조·CDMO, 삼성바이오로직스. SOP 문서 RAG에서 이중 검색(MP-Net·DPR)의 교집합만 LLM에 전달해 호출 50% 절감, 특허까지 출원했다. 동시에 A100 8장 전용 인프라와 GMP 인간 확인 절차가 병존한다 — 최적화·검증세·고정비가 공존하는 전형이다.
금융, Morgan Stanley. 배포보다 평가 체계 구축에 먼저 투자했다. 결과는 재무자문 조직의 98%가 매일 사용하는 도구 — 평가 선행이 비용이 아니라 채택률의 조건이었다.
커머스, Klarna. AI 상담이 채팅의 2/3를 처리하며 응대 시간을 11분에서 2분으로 줄였고 연 $40M 개선을 추정했다(2024). 그러나 2025년, 품질 문제로 인간 상담 인력을 재확충했다. 자동화율 목표는 '가능한 최대'가 아니라 '검증세 포함 최적'이어야 한다는 교훈이다.
특히 제조업의 오류 비용은 물리적이다. 미검출은 리콜로, 과검출은 재검 인건비로 청구되어, 검증세 역전이 소비자 서비스보다 훨씬 이른 트래픽 구간에서 온다.
*출처: 삼성SDS 인사이트 리포트 (2024.4) · OpenAI, AI in the Enterprise · Klarna 보도자료 (2024.2) · CX Dive (2025.5)*
거시 증거 — 연간 예산이 4개월 만에 사라졌다.
Uber. 코딩 에이전트 전사 도입 후 연간 AI 예산을 4개월 만에 소진했다(2026.4, CTO 공개). 이후 6월에는 툴별로 직원 1인당 월 $1,500 하드 리밋을 도입했다. 참고로 커밋 코드의 70%가 AI 생성이며, 에이전트 단독 작성은 약 11%다.
IBM IBV. 컴퓨팅 비용이 2023→2025년 평균 +89% 상승할 전망이며, 임원 70%가 "생성형 AI가 핵심 동인"이라고 답했다. 응답 임원 전원이 비용 문제로 1개 이상의 이니셔티브를 취소·연기했다.
KPMG 글로벌 AI Pulse (Q2 2026, n=2,145 · 20개 시장). 실시간 AI 운영비 가시성을 확보한 곳은 26%. 비용 이해 부족이 장벽이라는 응답 35%, 직접 사용량 통제를 도입한 곳 36%. 모니터링 대시보드는 66%가 갖췄지만 —
가시성은 있는데 통제가 없다. 계량기 손잡이를 쥔 곳은 셋 중 하나뿐이다.
*출처: TechCrunch(Bloomberg 보도 인용) · Forbes · IBM IBV, CEO's guide: Cost of compute · KPMG AI Pulse Q2 2026*
5단계 대응 프레임워크
- 계량화하라 (Measure) — 요청당 실제 LLM 호출 수와 토큰 증폭률을 기능 단위로 실측한다.
- 가드레일을 계층화하라 (Tier) — 저위험 트래픽은 경량 분류기로, 고위험만 LLM 검증으로. 위험도 기반 라우팅이다.
- FinOps를 상시화하라 (Operate) — 캐싱·배치·라우팅을 운영 규율로 만들고, 272K 할증 같은 과금 규칙 변경을 모니터링 대상에 올린다.
- 검증세를 예산화하라 (Budget) — 인간 검토율·건당 시간·시급을 처음부터 TCO에 편성한다. 모델이 좋아져도 0이 되지 않는다.
- 워크플로를 재설계하라 (Redesign) — 자동화율 목표를 '기술적으로 가능한 최대'가 아니라 '검증세를 포함한 총비용 최적'으로 잡는다.
비용 관리의 단위는 토큰당이 아니라 기능당이다. "이 기능 1회 실행에, 이 고객 1명에, 이 워크플로 1건에 얼마"에서 출발해야 한다.
프레임워크 × 에이전트 인프라 — 경쟁력은 모델이 아니라 시스템 효율에서 나온다.
- 통신 효율 (→ Measure) — 에이전트 간 전문(全文) 재전송을 금지한다. 디프(diff) 기반 교환과 병렬·비동기 호출로 대기 낭비를 없앤다.
- 컨텍스트 메모리 · 캐싱 (→ Operate) — 공유 컨텍스트 메모리 + 프롬프트 캐싱(입력 최대 90% 절감) + 서버측 영속 상태(persistent state)로 핸드오버한다.
- 계층적 워크플로 · 라우팅 (→ Tier) — 계획·검증·실행을 분리한다. 복잡한 추론엔 최상위 모델 low-effort, 정형 하위작업엔 경량·오픈웨이트. "고지능 + 저노력"이 실측 최저가였다.
- 중간 산출물 압축 · 재사용 (→ Redesign) — 스택트레이스·검색 반환을 요약·추출해 전달한다. 낡은 툴 출력을 잘라내는 기본기가 표준 스택에는 없다.
- 실패 복구 구조 (→ Budget) — 실패 경로를 명시적 메모리에 기록해 반복을 차단하고, 연속 실패 시 상위 모델이나 인간으로 조기 이관한다. 재시도는 성공당 실효 비용을 2~3배로 키운다.
*출처: 이동수 (a2sys) · Anthropic Engineering · VulcanBench 시사점 종합*
결론: 토큰은 계속 싸질 것이다. 그러나 신뢰는 비싸다.
기업 AI의 실비용은 모델 호출 가격이 아니라, 그 호출을 신뢰할 수 있는 시스템으로 만드는 증폭 비용의 합이다. 가드레일의 호출 배수, 인간 검토의 검증세, 거버넌스의 고정비, 규제의 준법 비용, 벤더 정책의 플랫폼 리스크, 그리고 에이전트 루프의 컨텍스트 누적 비용.
이제 경쟁력은 어떤 모델을 쓰는가가 아니라, 모델들이 협업하고 기억하고 다시 시도하는 전체 시스템이 얼마나 효율적인가에서 나온다.
가려진 청구서를 먼저 읽는 기업이 이긴다.*초판 2026.7.10 · 최종 업데이트 2026.7.16 (Fable 5 종량제 전환 일정 및 EU 옴니버스 확정 반영). 가격·규제 정보는 변동이 잦다.*