AI モデルプロバイダーの詳細
AI コントロールタワー の「AI モデルプロバイダー」セクションをご覧ください。
AI モデルプロバイダーを使用すると、データルーティングを選択し、サードパーティの LLM (大規模言語モデル) と SLM (小型言語モデル) を管理し、許可されたモデルプロバイダーを選択してサードパーティの LLM を構成できます。
データルーティングとモデルプロバイダー
データルーティングは、LLM および SLM 要求を最適なデータセンターにルーティングするためのテクノロジーです。このテクノロジーはデータ トラフィックの最適化に役立ち、遅延が短縮され、応答時間が短縮されます。
[データルーティングとモデルプロバイダー] セクションでは、AI モデル要求をルーティングし、[許可されたモデルプロバイダー] を選択できます。
データルーティングには、次の 2 つのタイプがあります。
- 地域データルーティング
-
リージョンデータルーティングは、リージョン内のデータセンターに LLM および SLM 要求をルーティングします。たとえば、APJC (アジア太平洋、日本、中国) 地域にいる場合、これらの要求は APJC リージョンの最適なデータセンターにルーティングできます。地域データルーティングは、特定の地域の政府によって義務付けられる場合があります。
- グローバルデータルーティング
- グローバルデータルーティングを選択すると、LLM および SLM 要求は、グローバルに最も適したデータセンターにルーティングされます。
編集オプションを使用して、リージョンまたはグローバルデータルーティングを選択し、許可されたすべてのモデルプロバイダーを選択して、サードパーティの LLM プロバイダーを構成できます。
- ServiceNow がサポートする AI モデルプロバイダー
- あなたの組織によって構成された AI モデルプロバイダー
ServiceNow でサポートされている AI モデルプロバイダーには、Now LLM サービス、AWS Claude、Now LLM-LTS モデルなどのプロバイダーが含まれています。
Perplexity、IBM Watson など、組織によって構成された AI モデルプロバイダー。
AI 資産ライフサイクルNow LLM サービス - LTS モデルの詳細については、次を参照してください。 長期安定モデル
すべてのリージョンに対してサードパーティ LLM を構成するシナリオの詳細については、次を参照してください。 サードパーティの LLM とリージョンを確認する
APJC リージョンのデータルーティング構成を使用したサードパーティ LLM の構成については、次を参照してください。 AI コントロールタワーを使用したサードパーティ LLM の構成
フォールバックとスピルオーバー
- フォールバック
- 有効なモデルプロバイダーでサポートされていないアクティブな AI システムが ServiceNow® にある場合、「フォールバックメカニズム」により、これらのシステムはデフォルトのプロバイダーで引き続き動作できます。ただし、フォールバックを有効にしない場合は、これらの AI システムを非アクティブ化する必要があります。フォールバックプロバイダーに展開された AI システムは、承認されたプロバイダーのリストに準拠しています。注:フォールバックはデフォルトで有効になっており、変更できます。
- スピルオーバー
- AI モデルのリージョン展開では容量が制限される可能性があるため、要求レートが制限され、パフォーマンスに影響を与える可能性があります。スピルオーバーを有効にすると、これらのパフォーマンスの問題を防ぐのに役立ちます。ServiceNow® では、Azure OpenAI のみが現在この切り替えを行います。
影響のサマリー
影響のサマリーは、選択した許可されたモデルプロバイダーとフォールバックのステータス (アクティブまたは非アクティブ) によって決まります。フォールバックは、影響サマリーテーブルでの影響サマリーデータの表示方法に大きく影響します。
編集オプションを使用して、[はい] または [いいえ] を選択し、フォールバックをアクティブ化できます。保存する前に、[影響度をプレビュー] を選択して、すべての選択内容を確認して確認できます。
次の 2 つのシナリオの影響サマリーテーブルデータを確認しましょう。
- フォールバックのアクティブ化:いいえ
-
- 合計 AI システム:許可されたモデルプロバイダーによってサポートされているすべての AI システムを表示します。
- 許可されたプロバイダーでサポートされている AI システム:プロバイダーがサポートするスキルセットを持つ AI システムを表示します。
- AI システムの非アクティブ化が必要:プロバイダーのサポートがなく、フォールバックオプションが有効になっていないために非アクティブ化する必要があるすべてのアクティブな AI システムをリストします。
- AI システムをアクティブ化できません:現在非アクティブで、どのプロバイダーでもサポートされていないすべてのシステムを表示します。
-
図 : 3. フォールバックのアクティブ化:いいえ - フォールバックをアクティブ化:はい
-
- 合計 AI システム:許可されたモデルプロバイダーによってサポートされているすべての AI システムを表示します。
- 許可されたプロバイダーでサポートされている AI システム:プロバイダーがサポートするスキルセットを持つすべての AI システムを表示します。
- フォールバックプロバイダーでサポートされている AI システム:フォールバックプロバイダーは許可されていないプロバイダーであるため、準拠していない AI システムを表示します。
テーブルからエントリを選択すると、選択したエントリを含むサポートマトリクスページが表示され、カスタマイズされたリストを更新できます。
サポートマトリクスには、すべての AI システムがそれぞれの AI モデルプロバイダーとともに表形式で表示されます。サポートマトリクステーブルとカテゴリ (AI システム、タイプ、アクティベーションステータスなど)、および選択した AI モデルプロバイダーを表示できます。
組織またはサードパーティプロバイダーによってサポートされている AI プロバイダーを選択した場合、選択したプロバイダーは AI システムとモデルプロバイダーのサポートテーブルに表示されます。
監査ログ
監査ログには、 AI コントロールタワー のデータ、承認、および AI モデルプロバイダーのカテゴリに加えられた構成の変更が表示されます。[ 監査ログを表示 ] オプションを選択すると、監査ログを表示できます。
[監査ログ] ページには、次のカテゴリに整理されたすべての構成変更の詳細が表示されます。
- タイムスタンプ
- ユーザー
- 変更されたカテゴリ
- 変更された設定
- 変更後
- 変更前
過去 90 日間から開始する日付範囲を選択して、変更をフィルタリングすることもできます。
マルチインスタンスセットアップでは、特定のマネージャー (本番) インスタンスと同期するために AI インベントリ情報の同期インスタンスに対してマネージド (準本番) インスタンスが追加または削除されると、監査ログに最初に削除されるすべてのインスタンスのレコードが表示され、その後に追加または削除されるインスタンスを示す別のレコードが表示されます。