본문으로 건너뛰기

태그 #AI, FinOps, LLM, 비용구조, Agent

연구소르테크

가려진 청구서 — 안전장치를 붙일수록 연산은 배수로 늘어난다.

토큰 단가는 해마다 내려간다. 캐싱은 입력 비용을 약 90%, 배치 처리는 50%를 깎아준다. 그런데 현장의 청구서는 반대로 움직인다. 파일럿은 손익에 잡히는 성과를 내지 못하고, 에이전트 프로젝트는 비용 문제로 취소된다. 단가가 내려가는데 비용 때문에 실패한다면, 문제는 단가가 아니라…