タスクインテリジェンスアナリティクスの表示
CSM のタスクインテリジェンスアナリティクスダッシュボードを表示して、モデルのパフォーマンスを経時的に監視し、ビジネス価値を追跡し、エージェントが使用した予測と使用しなかった予測を表示します。
ダッシュボードは視覚的表現を使用して、各モデルのパフォーマンスの概要を提供します。各モデルからの予測の数と、組織内でケースの解決にかかる全体的な平均時間を確認できます。
次の例は、ダッシュボード内の [概要を取得] セクションと [トレーニング済みモデルの動作を確認する] セクションを示しています。
[概要を取得 (Get an overview)]
ダッシュボードには、モデルのビジネス価値を示す視覚的表現が含まれています。- [予測の数 (Number of predictions)]
- 線グラフには、すべてのカテゴリ設定モデルの組み合わせについて、エージェントが承認した正しい予測の数が経時的に表示されます。感情モデルと言語モデルがアクティブ化されている場合は、それらのモデルの正しい予測も表示されます。モデルが学習を続けると、エージェントが受け入れる予測の数が増加する可能性があります。
- [平均解決時間 (MTTR)]
- 線グラフには、ケースの解決に要する平均時間が経時的に表示されます。モデルがより多くの予測を行うと、それらの予測がエージェントに役立つため、MTTR は必ず短縮されます。
[タスクインテリジェンスアナリティクス] ページには、次のような予測フィールドとそれらがビジネスにどのように影響するかに関するデータが含まれています。
- 予測フィールドの数。
- エージェントが使用した予測の数。
- エージェントが変更した予測の数。
[トレーニング済みモデルの動作を確認する (See how your trained model is doing)]
ダッシュボードでは、視覚的表現を使用して、モデルによる予測の使用率を経時的に監視できます。特定の [モデル] と [出力フィールド] を選択することで、エージェントが承認または置換した予測の数を表示し、ベースラインと比較できます。
- [エージェントが承認した予測数 (Predictions agents accepted)]
- ウィジェットには、ケース管理中にエージェントがこれまでに使用した正しい予測数が表示されます。この数が減少傾向にある場合は、モデルの再トレーニングを検討してください。
- [エージェントが交換した予測数 (Predictions agents replaced)]
- ウィジェットには、ケース管理中にエージェントがこれまでに削除した誤った予測数が表示されます。この数が上昇傾向にある場合は、モデルの再トレーニングを検討してください。
- [モデルがスキップした予測 (Predictions the model skipped)]
- ウィジェットには、[モデル]、[出力フィールド]、および [日付範囲] の選択に基づいて、モデルがスキップした予測の数が表示されます。
- [パフォーマンス概要 (Performance overview)]
- [パフォーマンス概要] テーブルには、モデルと出力フィールドの組み合わせごとに、正しいデータ、正しくないデータ、スキップされたデータの平均パーセンテージ値が表示されます。
- [個々のフィールド予測の経時的な使用状況を追跡する (Track usage of individual field predictions over time)]
- 棒グラフでは、個々のフィールド予測の経時的な使用状況を追跡します。グラフの各バーには、承認した予測、置換した予測、モデルがスキップした予測の 3 つのコンポーネントが表示されます。各バーを囲む赤色のアウトラインは、各日のレコードの合計数を表します。特定のコンポーネントを比較するには、凡例に移動し、含めないコンポーネントの選択を解除すると、ユーザー設定に基づいてよりカスタマイズされ、焦点を絞った比較を行うことができます。デフォルトでは、ビューには予測の数が表示されます。ただし、[パーセンテージで表示] オプションを切り替えることで、パーセンテージ表示に切り替えることができます。パーセンテージビューでは、トレーニングデータから導出された、置換および承認されたベースラインに関する情報にアクセスすることもできます。このオプションを使用すると、ベースラインを使用したモデルのパフォーマンスに関するインサイトを得ることができます。
- [モデル予測の経時的な使用状況を追跡する (Track usage of model predictions over time)]
- 棒グラフで、モデルの使用状況を経時的に監視します。これは、[個々のフィールド予測の経時的な使用状況を追跡する (Track usage of individual field predictions over time)] の棒グラフに似ています。フィールドを選択すると、ユーザーは最大 3 つのフィールドでこれまでの予測を経時的に比較できます。
注:
- ページを更新しても、構成、モデルの選択、フィールド、使用タイプ、および [パーセンテージで表示] のトグル選択は保持されます。
- [モデル] および [出力フィールド] オプションでは、複数選択機能がサポートされているため、トレーニングレコードの平均数を比較し、エージェントがさまざまなモデルの予測をどのように使用しているかを分析できます。複数のモデルが選択されている場合、[エージェントがモデルの予測をどのように使用したかを比較する (Compare how agents used models' predictions)] セクションで、エージェントは選択したモデルをさまざまな使用タイプ間で比較できます。グラフでは、カウントとパーセンテージの切り替えもサポートされています。また、パーセンテージモデルを使用している場合は、承認および置換された予測のベースラインも表示されます。
タスクインテリジェンスアナリティクスの使用
次のように移動する。 をクリックして [タスクインテリジェンスアナリティクス] ページにアクセスします。
すべてのモデルまたは個々のモデルのアナリティクスを表示できます。モデルを選択するには、次のアクションを実行します。
- [モデル] を選択して、個々のモデルのアナリティクスにアクセスします。
- タスクインテリジェンスアドミンコンソールから作成されたモデルのリストからモデルを選択します。
- [適用] を選択します。