Détection de non-pertinence dans NLU
Gardez Agent virtuel les chats concentrés avec la détection de non-pertinence. Utilisez la fonctionnalité de détection de non-pertinence pour former votre NLU modèle afin qu’il évite d’effectuer des prédictions pour des énoncés qui ne sont pas pertinents.
Informations récapitulatives
La fonctionnalité de détection de non-pertinence améliore la précision de prédiction des NLU modèles en leur apprenant à ignorer certains énoncés. Ces énoncés de vos utilisateurs peuvent ne pas s’appliquer à n’importe quelle intention et ne doivent donc pas faire l’objet de prédiction.
Pour vous assurer que les modèles ne prédisent pas une intention alors qu’ils ne sont pas censés le faire, vous pouvez marquer les énoncés comme non pertinents. Ces énoncés marqués sont inclus dans le cadre de la formation du modèle. Lorsque le modèle publié rencontre des énoncés similaires de la part de vos utilisateurs, aucune intention n’est mise en correspondance ou prévue.
La table de détection de non-pertinence est l’endroit où vous pouvez gérer les énoncés marqués comme non pertinents.
Rôles, utilisation et navigation
Utilisez le rôle de nlu_admin ou d’administrateur pour accéder à la détection de non-pertinence. Le rôle nlu_editor est également en mesure d’accéder à la détection de non-pertinence, mais doit être affecté à un modèle pour modifier le contenu de ce modèle.
La détection de non-pertinence est disponible uniquement pour Agent virtuel les modèles.
- Accédez à la . L’onglet Agent virtuel s’ouvre par défaut.
- Faites défiler la liste des modèles jusqu’à la section Boostez les performances de Agent virtuel votre modèle.
- Faites défiler horizontalement pour localiser la carte Gardez les chats concentrés et sélectionnez son bouton Accéder à la détection de non-pertinence.
Ajout d’énoncés à la détection de non-pertinence
Il existe plusieurs méthodes pour ajouter des énoncés à la détection de non-pertinence :
- Journal Agent virtuel de la messagerie instantanée : dans la boucle de rétroaction d’experts dans Console NLU, lorsque vous examinez un énoncé collecté à partir du journal de messagerie Agent virtuel instantanée, vous pouvez le marquer comme Non pertinent. Le système demandera s’il ne doit pas être pertinent pour un modèle particulier ou pour tous les modèles. Après l’ajout, ces énoncés peuvent s’afficher en tant que NO_INTENT dans la boucle de rétroaction d’experts.
Pour plus d’informations sur la boucle de rétroaction d’experts dans , reportez-vous à NLU la section NLU Boucle de rétroaction d’experts.
Ces énoncés ont une source de journaux de messagerie instantanée VA dans la table de détection de non-pertinence.
Entrée manuelle : dans la détection de non-pertinence, tapez votre énoncé dans le champ Saisissez les énoncés ici , puis sélectionnez Ajouter. Le système demandera s’il ne doit pas être pertinent pour un modèle particulier ou pour tous les modèles.
Ces énoncés ont une source de manuel dans la table de détection de non-pertinence.
- Importation : lorsque vous utilisez un fichier CSV ou XLSX (Excel Workbook) pour importer des énoncés de formation et leurs intentions, vous pouvez indiquer les énoncés non pertinents en laissant vide la colonne Intention. Ces énoncés peuvent s’afficher comme NO_INTENT dans des domaines tels que Boucle de rétroaction d’experts et Examen de conflit.
Pour plus d’informations sur l’importation d’énoncés et d’intentions, reportez-vous à la section Créer un NLU modèle à partir d’un fichier CSV.
Ces énoncés ont une source de manuel dans la table de détection de non-pertinence.
Comportement des énoncés non pertinents
Il existe deux types d’énoncés non pertinents : ceux associés à un modèle spécifique, ou ceux qui ne sont pertinents pour aucun modèle. Un modèle peut avoir un maximum de 200 énoncés non pertinents associés.
Voici des détails sur la façon dont ces deux types et le maximum de 200 points interagissent.
Lorsqu’un modèle est soumis pour la formation, au maximum 200 énoncés non pertinents sont soumis avec lui. Tout d’abord, les énoncés non pertinents directement associés à ce modèle sont soumis. Ensuite, les énoncés qui sont désignés comme non pertinents pour un modèle sont soumis. Le total de ces types ne dépasse pas 200.
Si 200 énoncés non pertinents sont associés à un modèle et qu’un nouvel énoncé non pertinent est ajouté, l’énoncé le plus ancien du modèle est abandonné. Le nouvel énoncé non pertinent peut être de l’un ou l’autre type (non pertinent pour le modèle spécifique ou non pertinent pour un modèle).
Un modèle ne peut pas avoir plus d’énoncés non pertinents que les énoncés de formation normaux.
Revues de conflits
Si un énoncé est marqué comme non pertinent et qu’il existe un énoncé similaire dans une intention, le modèle ne fait pas de prédiction pour cet énoncé. En d’autres termes, les énoncés non pertinents ont priorité sur les énoncés de formation.
Étant donné que les énoncés non pertinents ont un impact sur les prédictions du modèle, ils s’affichent sous forme de conflits lorsqu’ils chevauchent des énoncés de formation.- Module Revue de conflit inter-modèles. Pour en savoir plus sur ce module, reportez-vous à la section Revue de conflit inter-modèles.Remarque :Le module Revue de conflit inter-modèles est disponible avec l’application Console NLU - Fonctionnalités avancées à partir de ServiceNow® Store. Pour plus d'informations, consultez Console NLU : fonctionnalités avancées.
- Onglet Conflits d’une intention. Pour plus d’informations sur les conflits dans une intention, reportez-vous à la section Résoudre les problèmes d’intention.
Notez que les énoncés non pertinents ne peuvent pas être modifiés ou supprimés sur la page de conflit. Copiez l’énoncé non pertinent de la page de conflit vers la page de détection de non-pertinence pour modifier ou supprimer l’énoncé.
En savoir plus
- Dans les jeux de tests, essayez d’inclure environ 10 % des énoncés de test comme étant non pertinents. Cela permet d’évaluer comment votre modèle gère les énoncés qui ne devraient pas avoir d’intention prédite. Lorsque vous importez des énoncés de formation ou de test à partir d’un fichier CSV ou XLSX (Excel Workbook), vous pouvez indiquer qu’un énoncé n’est pas pertinent en laissant vide la colonne Intention.
- Lors du test des modèles par rapport à des jeux de tests, les résultats sont considérés comme corrects si aucune intention n’est prévue pour un énoncé non pertinent.
- Les énoncés qui ont été marqués comme non pertinents peuvent être réaffectés ultérieurement. Par exemple, si une nouvelle intention est créée, les énoncés non pertinents existants peuvent être affectés manuellement à la nouvelle intention. Ils font alors partie des énoncés de formation normaux.
Pour réaffecter un énoncé dans la détection Non pertinence, développez la liste dans la colonne Intention corrigée et sélectionnez l’intention appropriée. Assurez-vous de sélectionner le bouton Save feedback (Enregistrer les commentaires ) après la réaffectation. Assurez-vous également de reformer le modèle pour intégrer ces mises à jour dans le modèle.
- Les énoncés non pertinents ne sont pas associés à des intentions particulières dans un modèle. Ils sont soit associés à un modèle, soit marqués comme non pertinents pour aucun modèle.
- Les énoncés marqués comme non pertinents pour un modèle sont soumis dans le cadre des données de formation pour chaque modèle. En d’autres termes, celles-ci s’appliquent à tous les modèles.
- Une formation de modèle est nécessaire pour incorporer des énoncés non pertinents. L’entraînement de n’importe quel modèle ajoute des énoncés nouvellement marqués à tous les modèles.
- Les énoncés peuvent être supprimés ou modifiés dans la table de détection de non-pertinence.
- Les énoncés non pertinents doivent avoir un contenu différent des énoncés associés à une intention.