Évaluer une invite

  • Rversion finale: Australia
  • Mis à jour 31 juil. 2025
  • 2 minutes de lecture

    • Utilisez les Kit de compétences Now Assist outils d’évaluation pour évaluer l’efficacité de vos invites de compétences.

    Avant de commencer

    Rôle requis : sn_skill_builder.admin

    Procédure

    1. Accédez à la Tous > Kit de compétences Now Assist > Accueil.
    2. Sélectionnez la compétence que vous souhaitez évaluer.
    3. Sélectionnez l’onglet Performance de l’invite .
    4. Sélectionnez l’onglet Exécutions d’évaluation .
    5. Créez un ensemble de données à partir d’une table ou d’une collection de données.
      Tableau 1. Créer un ensemble de données
      Fonction de message REST Étapes
      Créer un jeu de données à partir d’une table
      1. Donnez un nom et une description à l’ensemble de données.
      2. Sélectionnez une table.
      3. Recherchez la table que vous souhaitez utiliser.
      4. Sélectionnez le nombre maximal d’enregistrements que vous souhaitez utiliser.
      5. Ajoutez des conditions.
      6. Sélectionnez Générer un aperçu.
      7. Sélectionnez les mappages.
      8. Sélectionnez Créer.
      Créer un jeu de données à partir d’une collection de données
      1. Donnez un nom et une description à l’ensemble de données.
      2. Sélectionnez une collection de données.
      3. Sélectionnez une collection de données que vous avez créée dans Kit de données Now Assist.
      4. Sélectionnez Générer un aperçu.
      5. Sélectionnez les mappages.
      6. Sélectionnez Créer.
    6. Sélectionnez l’icône Ajouter pour les exécutions d’évaluation.
    7. Donnez un nom et une description à l’exécution d’évaluation.
    8. Sélectionnez une ou plusieurs invites que vous souhaitez évaluer.
    9. Sélectionnez Enregistrer et Suivant.
    10. Sélectionnez un ensemble de données.
    11. Sélectionnez Enregistrer et Suivant.
    12. Développez l’onglet Qualité .
    13. Sélectionnez les mesures que vous souhaitez évaluer.
      Tableau 2. Mesures d'évaluation
      Méthode d'évaluation Mesure Description
      Humain Commentaire humain L’évaluation humaine est l’option par défaut disponible pour toutes les exécutions d’invite qui génèrent une réponse. Vous pouvez évaluer la réponse avec un pouce vers le haut ou vers le bas, en fonction de votre satisfaction. Vous avez également la possibilité de fournir des commentaires plus détaillés pour expliquer votre choix en matière d’évaluation.
      Automatisé Exactitude La mesure d’exactitude évalue l’exactitude, l’exhaustivité, la pertinence et la qualité d’écriture de la réponse générée par rapport à l’instruction donnée. Cette mesure permet de vérifier que le texte reflète fidèlement l’instruction, qu’il couvre tous les points importants, qu’il reste pertinent et qu’il est bien écrit.
      Automatisé Exactitude avec réponse de référence La mesure d’exactitude avec réponse de référence utilise une référence prédéfinie pour évaluer l’exactitude, l’exhaustivité, la pertinence et la qualité d’écriture de la réponse générée par rapport à l’instruction donnée. Cette mesure permet de vérifier que le texte reflète fidèlement l’instruction, qu’il couvre tous les points importants, qu’il reste pertinent et qu’il est bien écrit. Vous devez utiliser cette mesure dans la mesure du possible.
      Automatisé Loyauté La mesure de fidélité évalue si une réponse générée reflète fidèlement les informations et le contexte fournis dans l’instruction donnée. Cette mesure permet de vérifier que le texte ne contient pas d’hallucinations, de faits fabriqués ou de conclusions non étayées, tout en maintenant l’alignement avec le matériel source.
    14. Sélectionnez Enregistrer et Suivant.
    15. Passez en revue les choix d’évaluation que vous avez effectués.
    16. Sélectionnez Enregistrer et évaluer.
    17. Facultatif : Donnez une évaluation humaine.
      1. Sélectionnez Évaluation humaine.
      2. Sélectionnez un enregistrement à utiliser dans l’évaluation.
      3. Développez l’invite et lisez le résultat.
      4. Sélectionnez l’icône « Pouce vers le haut » ou « Pouce vers le bas », « Pouce vers le haut » ou « Pouce vers le bas » pour donner votre évaluation.
      5. Ajoutez plus d’informations et sélectionnez Soumettre.