LLM トピックのテスト

チャットテストウィンドウで会話を実行することで、仕事をしながらトピックの機能をテストできます。デフォルトのテストウィンドウは、Web (サービスポータル) チャットクライアントです。

大規模言語モデル (LLM) トピックは、自然言語理解 (NLU) (NLU) トピックに比べ、より高速かつ簡単にテストできます。たとえば、NLU トピックのように、発言を更新したりモデルを再トレーニングしたりした後に、トピックを再テストする必要がありません。

仮想エージェントとサードパーティのメッセージングアプリとの統合を使用している場合、会話の要素がサードパーティのメッセージングアプリケーションでは異なって表示されることがあります。仮想エージェントを展開する予定のサードパーティアプリケーションで会話をテストします。

注:

Now Assistパネル、Microsoft Teamsアプリケーション、またはSlackアプリケーションが環境に構成されている場合、それらのチャネルのプレビューオプションが [テスト] ボタンリストに表示されます。リストの [Now Assist パネルでのプレビュー] または [Microsoft Teams でプレビュー] を選択し、その環境でトピックをテストします。

チャットテストウィンドウでの LLM トピックのテスト

LLM テストのオプションは、仮想エージェントデザイナーキャンバスとホームページにあります。 — 図 : 1. LLM テストのオプション

トピックヘッダーバーの [テスト] オプションを使用して、仮想エージェントデザイナーキャンバスで LLM トピックをテストします。単一のトピックからテストする場合、アシスタントを操作するには [トピックディスカバリーを含める ] オプションを選択する必要があります。トピックが複数の LLM アシスタントに関連付けられている場合は、[アシスタント] ドロップダウンリストを使用して、テストするアシスタントを選択します。LLM アシスタントの詳細については、「 LLM アシスタント」を参照してください。

注:

トピックに必要な情報が不足している場合は、フロー図ペインの隅に「未完了」バッジが表示されます。また、各ノードの横に黄色または赤色の警告バッジが表示されます。未完了バッジには問題の合計数がリストされ、ローカル警告バッジには各ノードで見つかった問題の数が表示されます。問題があるときに [テスト] を選択すると、[問題] ウィンドウが開き、存在する問題の数と各問題の詳細が表示されます。これらの詳細には、未完了の各アイテムの詳しい説明とハイパーリンクが含まれています。

または、[トピック] ページでアクティブな (公開済みの) LLM トピックをテストすることもできます。LLM アシスタントフィルターを使用して、そのアシスタントに関連付けられたトピックのみにトピックを制限し、[アクティブなトピックのテスト] を選択します。LLM アシスタントフィルターを使用しない場合は、[アクティブなトピックのテスト] ドロップダウンリストから [LLM アシスタントトピックのテスト] を選択します。[トピック] ページの [ アクティブトピックのテスト ] オプションまたはサブオプションを使用すると、トピックディスカバリーが有効になるため、オプションとして表示されません。[トピック] ページからテストすると、チャットテストウィンドウに [アシスタント] ドロップダウンリストが表示されます。[アシスタント] ドロップダウンリストを表示するには仮想エージェントアシスタントで少なくともデフォルトのNow Assistを事前に確立しておく必要があります。トピックが 1 人の LLM アシスタントにのみ関連付けられている場合、[アシスタント] ドロップダウンリストのデフォルトはそのアシスタント名です。複数のアシスタントがいる場合は、[アシスタント] ドロップダウンリストを使用して、使用するアシスタントを選択します。複数の LLM アシスタントの作成の詳細については、「 [アシスタント] 画面で LLM 仮想エージェントを管理する」を参照してください。

チャットウィジェットの仮想エージェントNow Assist でチャットテストウィンドウが開きます。[アシスタント] ドロップダウンリストと [ トピックディスカバリーを含める ] オプションは、テストの作成元と LLM アシスタントを確立しているかどうかに応じて表示される場合があります。

LLM が行った各発言に対してフィードバックを提供するには、[いいね!] アイコン [賛または反対アイコン反対アイコン反対発言にカーソルを合わせたときに表示されるオプション。入力コレクターを除くすべての LLM ユーザー入力には、次のフィードバックオプションがあります。

ユーザーに「赤と緑のどちらの色が好きですか?」と尋ねる LLM 応答に続いて、「赤」または「緑」の選択肢が続きます。高評価と低評価のフィードバックオプションは、メッセージの隅に表示されます。 — 図 : 2. LLM 応答フィードバックオプション

チャットテストウィンドウには、隣接するタブも表示され、テスト時にトピックの詳細が表示されます。LLM トピックをテストするときは、次のタブを使用できます。

[テストフレーズを分析] - 入力に基づくトピックディスカバリーの結果。
変更手順 :LLM に送信されるトピック内のすべての指示のリスト。このタブは、単一のトピックをテストする場合にのみ使用できます。
[変数] - 入力変数やライブエージェント変数など、会話で使用されるすべての変数のリスト。
[変数を編集] - このトピックで使用される変数を編集するためのオプション。
[コンテキスト] - トピックが実行されるコンテキストを (コンテキスト変数を使用して) 指定するためのオプション。
[ログ] - 実行された処理のリスト。

テストする LLM トピックのタイプに基づいて、表示されるタブが異なります。 — 図 : 3. テストウィンドウとタブの例

仮想エージェントデザイナーのキャンバスで関連するトピックタイプをテストすると、次のタブが表示されます。

すべての LLM トピックタイプに対して、[ テストフレーズを分析]、[ 手順を変更]、[ 変数]、および [ログ ] タブが表示されます。
[変数を編集] タブは、トピックブロックとカスタムコントロールに対して表示されます。
[トピックディスカバリーを含める] を選択すると、トピック、セットアップトピック、または雑談トピックの [コンテキスト] タブが表示されます。

[トピック] ページからテストを実行する場合、テストウィンドウには [テストフレーズを分析]、[ 変数]、[ コンテキスト ] (デフォルトで利用可能で、[ トピックディスカバリーを含める] オプションはなし)、および [ログ ] タブのみが表示されます。

[テストフレーズを分析] タブ

LLM トピックをテストすると、入力に基づいてトピックディスカバリーの結果が表示されます。プライマリ LLM アシスタントに関連付けられたトピックをテストすると、プライマリアシスタントの昇格されたトピックのみが表示されます。テストフレーズを入力すると、Genius 結果が有効になります。これには、スキル (トピック) ディスカバリー、ナレッジベース (KB) 記事、カタログアイテムが含まれます。スキル検索結果では、検出されたスキルの横に Matching バッジが表示されます。トピックによっては、変数と値 (変数 @laptop_make や値 macbookなど) も一覧表示される場合があります。これらの Genius 結果は、公開されたトピックをテストしていて、[ トピックディスカバリーを含める ] オプションを選択した場合にのみ表示されます。[ トピックディスカバリーを含める ] オプションが非アクティブになっている場合は、トピックを公開し、[プロパティ] タブで LLM アシスタントを選択してトピックディスカバリーを操作します。「検索インデックス作成を実行しています」というメッセージが表示されることがありますが、トピックディスカバリーが更新されない可能性はありますが、検索インデックス作成の実行中にテストすることはできます。Genius 結果のしくみの詳細については、「 Now Assist in AI Search」を参照してください。

さらに、[トピック] ページからアクティブな LLM アシスタントトピックをテストすると、セマンティック検索のスキル結果が表示されます。セマンティック検索は、検索用語の意味とコンテキストを分析し、その情報を使用して意味が似ている結果を見つけます。自然言語を解釈して検索の意図をより正確に反映することで、検索の再現性を改善します。トピックディスカバリーテストのためにセマンティック検索が無効になっている場合、それらの結果は表示されません。セマンティック検索の詳細については、「Semantic vector search in AI Search」を参照してください。

[テストフレーズを分析] タブ。スキルディスカバリーのテストフレーズ結果、一致する結果、入力スキルと出力スキルのカテゴリが表示されます。 — 図 : 4. LLM トピックの [テストフレーズを分析] タブの例

[指示を変更] タブ

トピックに LLM に送信される指示が含まれている場合は、[ノード] カテゴリに表示されます。[ノード] カテゴリには、キャンバス上の LLM ユーザー入力ノード、そのフィールド名、および内容が一覧表示されます。

任意の指示の内容を変更して、会話に最適な指示を作成することができます。ノードの [ユーザープロンプトの適用 ] がアクティブな場合は、青色のチェックアイコンが表示され、[ ユーザープロンプトの適用] メッセージが表示されます。ノードの指示を変更するためのユーザープロンプトを強制を非アクティブ化します。

いずれかのユーザー入力で [ 自動スロット入力を許可 (Allow automatic slot filling )] が有効になっている場合、入力の [詳細な説明] は静的フィールドになります。[ スロットの自動入力を許可 ] が非アクティブの場合は、スクリプトまたはデータピルピッカーを使用して詳細な説明を定義できます。詳細については、テキストユーザー入力コントロールまたはその他の LLM ユーザー入力コントロールで [自動スロット入力テーブルエントリを許可する] を参照してください。

各指示のステータスは [オリジナル] から始まります。指示の内容を変更すると、そのステータスが [変更済み] に変わり、[元に戻す] アイコン [

その横に表示されます。変更された指示の合計数は、タブの下部の [ トピックに保存 ] ボタンの横に表示されます。変更した手順をテストするには、[ 適用して再起動] を選択します。指示の変更を元に戻すには、指示の横にある元に戻すアイコンを選択します。または、指示を変更するとアクティブ化される [元に戻す] を選択して、すべての変更を元に戻します。

注:

[トピックに保存] を選択すると、すべての変更が保存され、変更されたメッセージはすべて元のメッセージにリセットされます。

LLM 指示ガイドラインリンクを含むユーザー情報と、ユーザープロンプトが強制されたメッセージを含む入力コレクター内に保持されているノードを含むノードが表示されている [指示を変更] タブ。 — 図 : 5. [変更の説明] タブの例

[変更された指示] と [トピックに保存] の更新を含む [指示を変更] タブ。変更を加えると、[元に戻す]、[適用]、および [再起動] オプションがアクティブになります。 — 図 : 6. 変更ありの [指示の変更] タブの例

ノード内の指示に不快感を与える可能性のあるコンテンツが含まれている場合、ノードに警告バッジが表示されます。黄色の警告アイコン

ノード名の横にも表示されます。[適用して再起動] を選択すると、これらの指示が入力され、バッジとアイコンが削除され、[変更済み] ステータスが [オリジナル] に戻ります。

不快なコンテンツの警告バッジ、アイコン、およびホバーメッセージが表示されている [指示を変更 (Modify instructions)] タブ。[適用して再起動] を選択すると、指示が適用され、警告が削除されます。 — 図 : 7. 不快感を与える可能性のあるコンテンツの警告が表示された [指示を変更] タブの例

[変数] タブ

[変数] タブには、追跡できるように、会話で使用されるすべての変数のリストと、会話の進行中にキャプチャされる関連する値が表示されます。会話には次の変数タイプを設定できます。

入力変数
スクリプト変数
ライブエージェントの変数
呼び出し元トピックとトピックブロック間で渡される変数

リストは、変数のタイプによってセクションに分けられます。次の例は、[入力変数] セクションを示しています。静的リストコントロールでは、選択した選択肢の表示ラベルと値の両方がキャプチャされることに注意してください。

会話フローのスクリーンキャプチャの横にある、入力変数と値が表示されている [変数] タブ。 — 図 : 8. 入力変数のリストの例

次の例は、グループ化されたリストコントロールの [入力変数] セクションを示しています。この変数情報は、静的リストコントロールと同様に表示されますが、変数はグループ化された選択肢のグループごとに分けられています。

グループで分けられた [変数] タブ。ノードとグループ名がハイライト表示されています。 — 図 : 9. グループ化された選択肢変数のリストの例

[変数の編集] タブ

トピックブロックとカスタムコントロールをテストするときに、ノードにある変数を編集できます。

トピックのノードで変数を編集します。

[コンテキスト] タブ

[コンテキスト] タブは、トピック、セットアップトピック、または雑談トピックをテストして、チャットに別のコンテキストを指定するときに表示されます。リストからコンテキスト変数を選択します。この変数には、トピックのインテントを決定したり、チャットをライブエージェントにルーティングする方法をコントロールするために使用できる、コンテキスト情報が含まれています。たとえば、変数のリストから portal を選択し、ポータル名「IT Express」を入力できます。テストケースの作成中は [コンテキスト] タブを使用できません。

コンテキスト変数の定義の詳細については、「チャット関連情報を保存するためのコンテキスト変数を設定」を参照してください。仮想エージェントに含まれるライブエージェント変数の詳細については、「ライブエージェントチャットのコンテキスト変数」を参照してください。

「service portal」のコンテキストポータル値が表示されている [コンテキスト] タブ。 — 図 : 10. [コンテキスト] タブの例

次のステップ

トピックのテストが終了したら、テストチャットウィンドウを閉じます。必要に応じて、テスト情報を使用してトピックを調整し、より正確に実行できるようにします。たとえば、[テストフレーズを分析] タブで、結果に低いスコアや、[不確実 (Unsure)] または [不明 (Unknown)] の信頼度評価が返される場合があります。LLM ユーザー入力ノードのトピックの説明または指示を更新することで、スコアを向上させることができます。