NLU モデル設定

  • リリースバージョン: Xanadu
  • 更新日 2024年08月01日
  • 所要時間:2分
  • モデルの概要の [設定] ページで、NLUモデルの名前、説明、または信頼度しきい値を変更します。

    モデルの設定にアクセスするには、次の場所に移動します。 すべて > NLU ワークベンチ > モデル. モデルのアプリケーションのタブを選択し、モデルの名前を選択します。モデルの概要で、 [ モデル設定 ] タブを選択します。モデルの概要ページのモデル設定

    モデル設定

    モデル設定ページの上部セクションで、モデルの名前、簡単な説明、およびビジネスエリアを変更できます。モデルの言語、目的、またはスコープを変更することはできません。異なる言語、目的、またはスコープを持つモデルを作成するには、「 モデルの作成」を参照してください。

    デフォルトでは、[ 句読点を無視] チェックボックスがオンになっています。句読点を無視すると、句読点がわずかに異なる発話の予測されるインテントと信頼スコアの差異が少なくなります。最良の結果を得るには、このチェックボックスをアクティブのままにします。

    モデルのしきい値設定

    ここでは、信頼度しきい値がモデルでどのように機能するかを調整できます。

    しきい値は、パーセンテージで表される信頼スコアです。モデルの信頼度しきい値によって、特定の発話に対してそのモデルのどのインテントが予測されるかが決まります。たとえば、モデルのしきい値が 65% の場合、インテントの信頼スコアが 65% 以上の場合にのみ、発言に対してインテントが予測されます。しきい値の設定が低すぎると、発話に一致しないインテントが予測され、誤検出が増加する可能性があります。一方、モデルのしきい値が高すぎると、予測するインテントが除外される可能性があります。理想的なしきい値を見つけることで、インテントを正しく予測するモデルの能力が向上します。

    モデルのしきい値設定には、次の 2 つのタイプがあります。
    • 自動 - システムがモデルに最適な信頼度しきい値を選択できるようにします。値はテスト結果に基づいて動的に更新されます。これは、モデルの既定のテスト セットが使用される [ モデルのテストと公開 ] フェーズで行われます。
    • 手動: 信頼度しきい値を手動で設定できます。システムは、テスト中にモデルに対してより適切なしきい値を推奨する場合もあります。推奨事項を受け入れることを選択できます。

    事前構築済みモデルには、調整されたしきい値が付属しています。構築済みモデルの信頼度しきい値は、そのモデル専用に選択されています。

    テスト結果には、次の要件を満たしている場合にのみ 、モデルのしきい値の推奨事項 が含まれます。
    • テストセットのテスト範囲スコアが 60% 以上で、インテントごとに少なくとも 5 つのテスト発言がある。詳細については、「テストセットの作成と管理」を参照してください。
    • テストセットに 100 個以上の発話がある。
    • モデルは構築済みモデルではありません。
    • 推奨しきい値は、現在のしきい値よりも良い結果が得られます。
    現在のしきい値と推奨しきい値の棒グラフを含むテスト結果ページ。

    推奨しきい値のテスト結果には、2 番目の図が含まれています。2番目の図は、推奨しきい値が適用された予測パーセンテージを示しています。

    しきい値の推奨事項を適用すると、モデルの予測率が向上する可能性があります。[ 推奨事項の適用 ] を選択して、しきい値を変更します。システムは自動的にモデルを再トレーニングし、テスト結果には新しいしきい値の予測パーセンテージが表示されます。