Explorer les fournisseurs de modèles IA
Explorer la section Fournisseurs de modèles IA dans Tour de contrôle IA.
Les fournisseurs de modèles IA vous permettent de sélectionner l’acheminement des données, de gérer les LLM (grands modèles de langage) et les SLM (petits modèles de langage) tiers, et de configurer les LLM tiers en sélectionnant les fournisseurs de modèles autorisés.
Acheminement des données et fournisseurs de modèles
Le routage des données est une technologie par laquelle les demandes LLM et SLM sont acheminées vers le centre de données le plus approprié. Cette technologie permet d’optimiser le trafic de données, ce qui réduit la latence et accélère le temps de réponse.
La section Acheminement des données et fournisseurs de modèles vous permet d’acheminer des demandes de modèles IA et de sélectionner les fournisseurs de modèles autorisés.
Il existe deux types d’acheminement des données :
- Acheminement des données régionales
-
L’acheminement des données régionales achemine les demandes LLM et SLM vers les centres de données de votre région. Par exemple, si vous êtes dans la région APJC (Asie-Pacifique, Japon et Chine), ces demandes peuvent être acheminées vers le centre de données le plus approprié de la région APJC. L’acheminement des données régionales peut parfois être mandaté par les gouvernements de régions spécifiques.
- Acheminement des données globales
- Lorsque vous optez pour l’acheminement global des données, les demandes LLM et SLM sont acheminées vers le centre de données le plus approprié au niveau mondial.
Vous pouvez configurer les fournisseurs LLM tiers à l’aide de l’option de modification en choisissant l’acheminement des données régional ou global et en sélectionnant tous les fournisseurs de modèles autorisés.
- Fournisseurs de modèles IA pris en charge par ServiceNow
- Fournisseurs de modèles IA configurés par votre organisation
Les fournisseurs de modèles IA pris en charge par ServiceNow contiennent des fournisseurs tels que Now LLM Service, AWS Claude, Now LLM-LTS model, et autres.
Les fournisseurs de modèles IA configurés par votre organisation, tels que Perplexity, IBM Watson, etc.
Cycle de vie des actifs IAPour plus d’informations sur le modèle LTS de service Now LLM, voir Modèles stables à long terme
Pour plus d’informations sur l’exploration des scénarios de configuration des LLM tiers pour toutes les régions, consultez Explorer les LLM et les régions tiers
Pour en savoir plus sur la configuration des LLM tiers via la configuration de l’acheminement des données pour la région APJC, consultez Configurer des LLM tiers à l’aide de Tour de contrôle IA
Secours et débordement
- Secours
- Si vous avez des systèmes ServiceNow® d’IA actifs qui ne sont pas pris en charge par vos fournisseurs de modèles activés, le « mécanisme de secours » permet à ces systèmes de continuer à fonctionner avec leurs fournisseurs par défaut. Toutefois, si vous choisissez de ne pas activer le secours, ces systèmes d’IA doivent être désactivés. Les systèmes IA déployés sur les fournisseurs de secours sont conformes à la liste des fournisseurs approuvés.Remarque :La solution de secours est activée par défaut et peut être modifiée.
- Débordement
- Les déploiements régionaux de modèles d’IA peuvent connaître une capacité limitée, ce qui peut entraîner une limitation du débit des demandes et avoir un impact sur les performances. L’activation du débordement peut aider à éviter ces problèmes de performances. Dans ServiceNow®, seul Azure OpenAI effectue actuellement ce changement.
Résumé de l'impact
Le résumé de l’impact est déterminé par les fournisseurs de modèles autorisés choisis et l’état de la solution de secours, qui est active ou inactive. La solution de secours affecte considérablement la façon dont les données du résumé de l’impact apparaissent dans la table Résumé de l’impact.
Vous pouvez utiliser l’option Modifier pour sélectionner Oui ou Non afin d’activer la solution de secours. Avant d’enregistrer, vous pouvez sélectionner Prévisualiser l’impact pour examiner et confirmer toutes vos sélections.
Examinons les données de la table Résumé de l’impact pour les deux scénarios suivants.
- Activer le repli : non
-
- Nombre total de systèmes d’IA : affiche tous les systèmes d’IA pris en charge par les fournisseurs de modèles autorisés.
- Systèmes IA pris en charge par les fournisseurs autorisés : affiche les systèmes IA avec des ensembles de compétences pris en charge par les fournisseurs.
- Les systèmes IA nécessitent une désactivation : répertorie tous les systèmes IA actifs qui ne bénéficient pas du soutien du fournisseur et doivent être désactivés, car l’option de secours n’est pas activée.
- Les systèmes IA ne peuvent pas être activés : affiche tous ces systèmes qui sont actuellement inactifs et ne sont pris en charge par aucun fournisseur.
-
Figure 3. Activer le repli : non - Activer le repli : oui
-
- Nombre total de systèmes d’IA : affiche tous les systèmes d’IA pris en charge par les fournisseurs de modèles autorisés.
- Systèmes IA pris en charge par les fournisseurs autorisés : affiche tous les systèmes IA avec des ensembles de compétences pris en charge par les fournisseurs.
- Systèmes IA pris en charge par les fournisseurs de secours : affiche les systèmes d’IA non conformes comme fournisseurs de secours non autorisés.
Lorsque vous sélectionnez une entrée dans la table, la page de matrice de support s’affiche avec ces entrées sélectionnées, ce qui vous permet de mettre à jour votre liste personnalisée.
La matrice de support présente tous les systèmes d’IA sous forme de tableau, ainsi que leurs fournisseurs de modèles d’IA respectifs. Vous pouvez afficher la table de la matrice de support et des catégories telles que le système d’IA, le type, l’état d’activation, entre autres, ainsi que le fournisseur de modèle d’IA sélectionné.
Si vous avez sélectionné un fournisseur d’IA, qui est pris en charge par votre organisation ou un fournisseur tiers, le fournisseur sélectionné s’affiche dans la table de prise en charge des systèmes d’IA et des fournisseurs de modèles.
Journaux d'audit
Les journaux d’audit affichent les changements de configuration apportés aux catégories de données, d’approbations et de fournisseurs de modèles IA dans Tour de contrôle IA. Vous pouvez sélectionner l’option Afficher les journaux d’audit pour afficher les journaux d’audit.
La page Journaux d’audit affiche tous les détails des changements de configuration organisés dans les catégories suivantes :
- Horodatage
- Utilisateur
- Catégorie changée
- Paramètres modifiés
- Après le changement
- Avant le changement
Vous pouvez également filtrer les changements en sélectionnant une plage de dates, en commençant par les 90 derniers jours.
Dans la configuration multi-instances, lorsqu’une instance gérée (sous-production) est ajoutée ou supprimée des instances de synchronisation dans les informations de l’inventaire IA à synchroniser avec une instance de gestionnaire spécifique (prod), les journaux d’audit affichent d’abord un enregistrement de toutes les instances supprimées, suivi d’un enregistrement distinct indiquant l’instance en cours d’ajout ou de suppression.