- AgentOps
AgentOps：Agent 上线后应该监控哪 12 个指标
作者：Apolla 交付团队阅读约 2 分钟
结论先行
Agent 上线后至少要监控四类共 12 个指标：使用类（调用量、活跃用户、部门分布）、效果类（准确率、任务完成率、解决率、满意度）、成本类（Token 消耗、单次会话成本、模型分布）、风险类（敏感内容命中、越权尝试与异常输出）。88% 的生产 Agent 部署出现过事故，超过 40% 的 Agentic 项目预计在 2027 年前被取消，多数原因是缺乏治理与清晰的 ROI，而不是技术不行。
为什么上线才是开始
模型会更新、知识会过期、用户的问法会变。一个上线时准确率 90% 的 Agent，三个月不管，准确率掉到 75% 很常见。没有监控就不知道它在变差；没有评测就不知道改动是变好还是变坏。
- 88%
- 生产环境 Agent 部署出现过事故
- >40%
- Agentic 项目预计在 2027 年前被取消
- 12个
- 建议监控的核心指标
Gartner；行业 Agentic AI 2026 调研
使用类：有没有人在用
- 调用量：按天与按小时的对话数，识别工作日规律与异常峰谷
- 活跃用户：周活与月活，以及新增与流失
- 部门分布：哪些部门在用、哪些买了没用——后者是培训与运营的切入点
效果类：用得好不好
- 回答准确率：抽样人工标注或评测集跑分，按周
- 任务完成率：需要调用工具的任务中，成功执行到底的比例
- 解决率：用户的问题是否被解决，通过会话结束反馈或后续行为判断
- 满意度：点赞点踩与主动评分
为什么解决率比准确率重要
回答「准确」不等于问题「解决」。一个客服 Agent 准确地告诉用户「请联系人工」，准确率是 100%，解决率是 0。「回得准」只是第一步，「解决率」才是检验价值的最终标准。
成本类：花了多少钱
- Token 消耗：按模型、按应用、按部门拆分
- 单次会话成本：识别异常昂贵的会话模式（如长上下文反复重试）
- 模型分布：便宜模型与强模型的调用比例，路由策略是否生效
风险类：有没有出事
- 敏感内容命中：输入输出过滤的触发次数与类型
- 越权尝试：访问无权限数据的请求数
- 异常输出：格式错误、幻觉标记、工具调用失败
月度运营节奏
监控看板巡检、效果评测跑分、高频问题归因、提示词与流程优化、成本复盘、版本迭代，输出一份月度运营报告。前 3–6 个月由交付方主导并做知识转移，之后转为顾问式支持。