- AgentOps
AgentOps：エージェント本番稼働後に監視すべき12の指標
執筆：Apollaデリバリーチーム読了目安：約3分
まず結論
エージェントの本番稼働後は、少なくとも4分類・計12の指標を監視する必要があります。利用系（呼び出し数、アクティブユーザー、部門分布）、効果系（正確率、タスク完了率、解決率、満足度）、コスト系（トークン消費量、セッション単価、モデル分布）、リスク系（機微情報の検知、権限外アクセスの試行、異常な出力）です。本番環境に導入されたエージェントの88%でインシデントが発生しており、Agentic AIプロジェクトの40%超が2027年までに中止されると予測されています。その原因の多くは技術力の不足ではなく、ガバナンスと明確なROIの欠如にあります。
本番稼働は始まりにすぎない
モデルは更新され、ナレッジは古くなり、ユーザーの質問の仕方も変わっていきます。稼働開始時に正確率90%だったエージェントが、3か月放置しただけで75%まで低下することは珍しくありません。監視がなければ劣化に気づけず、評価がなければ、加えた変更が改善なのか改悪なのかを判断できません。
- 88%
- 本番環境に導入されたエージェントのうちインシデントが発生した割合
- >40%
- Agentic AIプロジェクトのうち2027年までに中止されると予測される割合
- 12項目
- 監視を推奨する中核指標
Gartner、各種業界調査（2026年）
利用系：使われているか
- 呼び出し数：日別・時間帯別の会話数から、平日のパターンと異常なピークや落ち込みを把握
- アクティブユーザー：週次・月次のアクティブユーザー数と、新規獲得・離脱の推移
- 部門分布：どの部門が使っているか、どの部門が導入したのに使っていないか。後者がトレーニングと運用支援の着手点
効果系：うまく使えているか
- 回答の正確率：サンプリングによる人手ラベル付け、または評価セットのスコアを週次で計測
- タスク完了率：ツール呼び出しを要するタスクのうち、最後まで正常に実行できた割合
- 解決率：ユーザーの問題が実際に解決されたかを、セッション終了時のフィードバックやその後の行動から判定
- 満足度：高評価／低評価の比率と、ユーザーが自発的に付けた評点
解決率が正確率より重要な理由
回答が「正確」であることと、問題が「解決」したことは同じではありません。カスタマーサポートのエージェントが「有人窓口へお問い合わせください」と正確に案内するだけなら、正確率は100%でも解決率は0です。「正確に答える」ことは第一歩にすぎず、価値を検証する最終的な基準は「解決率」です。
コスト系：いくらかかっているか
- トークン消費量：モデル別、アプリケーション別、部門別に分解
- セッション単価：異常に高コストなセッションのパターン（長いコンテキストでの再試行の繰り返しなど）を特定
- モデル分布：低コストモデルと高性能モデルの呼び出し比率から、ルーティング戦略が機能しているかを確認
リスク系：問題は起きていないか
- 機微情報の検知：入力・出力フィルターの発動回数と種類
- 権限外アクセスの試行：閲覧権限のないデータへのリクエスト数
- 異常な出力：フォーマットエラー、ハルシネーションのフラグ、ツール呼び出しの失敗
月次の運用サイクル
毎月、監視ダッシュボードの点検、効果評価のスコア計測、頻出する問題の原因分析、プロンプトとワークフローの最適化、コストの振り返り、バージョン更新を行い、月次の運用レポートにまとめます。最初の3〜6か月はデリバリー側が主導しながらナレッジ移転を進め、その後はアドバイザリー型の支援に移行します。