テストと検証

  • リリースバージョン: Australia
  • 更新日 2026年03月26日
  • 所要時間：3分

    • エージェントの本番展開を承認する前に、エージェントの実行とアクセス制御をテストし、自動評価を実行し、Guardian ログを確認します。

    テストでは、エージェントが意図したタスクを正しく実行すること、およびセキュリティ構成が設計どおりに機能することの両方を検証します。本番環境に展開する前に、両方のディメンションが合格する必要があります。

    エージェントの実行をテスト

    AI エージェントスタジオ のテストプレイグラウンドを使用して、サンプル発言を使用してエージェントに対して手動テストを実行します。エージェントが意図したタスクを完了し、適切なツールを使用し、エッジケースと障害シナリオを適切に処理していることを確認します。

    アクセス制御のテスト

    別のユーザーとしてアクセステストを実行して、ACL 構成が正しく機能することを確認します。アクセス権を持つユーザーがエージェントを呼び出すことができ、アクセス権を持つ必要がないユーザーは呼び出すことができないことを確認します。

    アクセステストの結果が予期しないものだった場合は、ACL 構成を確認してください。エージェント、ワークフロー、およびツールのレイヤー間で ACL がどのようにやり取りするかの詳細については、「 Implement access control in Now Assist AI agents 」を参照してください。

    自動評価を実行

    自動評価では、予想される入力と出力のデータセットに対してエージェントをテストし、一貫性のある反復可能な品質測定を提供します。手動テストが完了した後に評価を実行し、本番稼働前にパフォーマンスベースラインを確立します。このプロセスの詳細については、「Execute an agentic evaluation run」を参照してください。

    重要:
    自動評価を実行するユーザーは、エージェントの ACL とエージェント型ワークフロー内のすべてのエージェントに合格する必要があります。ユーザーに必要なロールがない場合、評価ではエージェント実行の失敗ではなく、アクセスの失敗が報告されます。

    テストからの Guardian ログの確認

    本番稼働前に、テスト実行から Now Assist ガーディアン ログをエクスポートして確認します。ログには、テスト中に Guardian が検出したコンテンツが表示され、現在のブロック構成が本番環境での使用に適しているかどうかを判断するのに役立ちます。「」を参照してください。

    ログに予期しない検出が表示された場合は、続行する前に Guardian 構成を調整してください。一般的な原因としては、機密性が広すぎるトピックフィルターや、攻撃性検出をトリガーするテスト発言などがあります。

    本番稼働検証ゲート

    次のすべての条件が満たされるまで、 本番稼働と監視 に進まないでください。

    • 定義されたユースケースシナリオのエージェント実行テストは合格します。
    • アクセス制御テストでは、意図したユーザーのみがエージェントを呼び出せることが確認されます。
    • 自動評価は、定義された成功基準のしきい値を満たしています。
    • テストからの Guardian ログがレビューされ、構成が本番環境に適切であることが確認されました。

    次のステップ

    すべての検証ゲート基準が満たされたら、 本番稼働と監視に進みます。