Cadre de travail d’évaluation des paramètres de requête de recherche

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 10 minutes de lecture

    • Recherche IA effectue des évaluations de tests A/B qui comparent la pertinence des résultats pour d’autres ensembles de valeurs de paramètres de requête de recherche. Ces évaluations déterminent les modèles utilisés Recherche IA pour la pertinence de l’apprentissage machine et pour les résultats Genius de questions-réponses.

    Le cadre de travail d’évaluation des paramètres de requête de recherche permet d’effectuer des tests A/B de pertinence sur le trafic de recherche en direct. Recherche IA tient compte des résultats de ces tests en direct ainsi que de leur évaluation hors ligne des données agrégées des signaux de recherche pour effectuer les déterminations suivantes :
    • déterminant le modèle de pertinence à publier pour un profil de recherche. Pour plus d’informations sur la génération et la publication de modèles de pertinence, reportez-vous à Pertinence de l’apprentissage machine dans Recherche IA.
    • Détermination du modèle de compréhension en lecture automatique (MRC) à utiliser lors de la validation des réponses potentielles aux questions-réponses Résultat Genius. Pour en savoir plus sur le modèle MRC utilisé pour les résultats Genius de questions-réponses, reportez-vous à Résultats Genius de questions-réponses.

    Recherche IA calcule les résultats de l’évaluation des tests A/B tous les soirs.

    Le cadre de travail d’évaluation des paramètres de requête de recherche fait partie de la suite de fonctionnalités Télémétrie adaptative.

    Tables de cadres de travail d’évaluation des paramètres de requête de recherche

    Le cadre de travail Recherche IA d’évaluation des paramètres de requête de recherche utilise des tables pour stocker les résultats et les mesures issus de tests A/B du trafic de recherche en direct. Recherche IA utilise les données stockées pour déterminer le modèle de pertinence et le modèle de validation des réponses des résultats Genius aux questions-réponses à publier pour une application de recherche.

    Table d’évaluation des tests A/B

    La table Évaluation des tests A/B [évaluation] stocke les détails des évaluations de tests A/B effectuées sur le trafic de recherche en direct.
    Remarque :
    Le système nettoie automatiquement cette table, en supprimant les enregistrements des évaluations inactives datant de plus de deux ans.
    Tableau 1. évaluation
    Colonne Description
    Numéro Numéro généré automatiquement pour identifier l’évaluation.
    Nom Nom et description de l’évaluation.
    Source Nom de la table contenant les enregistrements pour lesquels exécuter l’évaluation.
    Périmètre du test Portée de l’évaluation.
    • Valeurs prises en charge :
      • ALL: exécuter l’évaluation par rapport à tous les enregistrements de la table spécifiée par Source.
      • SELECTED: exécuter l’évaluation uniquement sur les enregistrements spécifiés dans la valeur du champ Artefacts sélectionnés .
    • Valeur par défaut: ALL
    Fournisseur d'artefact

    Liste des classes de filtrage des artefacts qui fournissent des enregistrements pour le test.
    Artefacts sélectionnés Liste séparée par des virgules des valeurs de sys_id d’enregistrement. Lorsque le périmètre du test est défini sur SÉLECTIONNÉ, l’évaluation s’exécute uniquement sur les enregistrements avec des valeurs sys_id spécifiées dans cette liste.
    Nombre minimum de signaux pour l'évaluation
    Nombre minimal de signaux de recherche que l’évaluation doit recueillir avant de terminer.
    • Type : nombre entier
    • Valeur par défaut : 0 (aucun minimum)
    • Valeur maximale : 30000

    Pour plus d’informations sur la façon dont cette condition interagit avec la condition Nombre minimum de jours pour l’évaluation , consultez Opérateur de critères de fin.
    Nombre minimum de jours pour l'évaluation
    Nombre minimal de jours pendant lesquels l’évaluation doit être active avant de se terminer.
    • Type : nombre entier
    • Valeur par défaut : 0 (aucun minimum)
    • Valeur maximale : 180

    Pour plus de détails sur la façon dont cette condition interagit avec la condition Signaux minimaux pour l’évaluation , voir Opérateur de critères de fin.
    Opérateur de critères de fin Opérateur logique à utiliser pour les conditions de fin d’évaluation lorsque des conditions Minimum Signals for Evaluation (Nombre minimum de signaux pour l’évaluation ) et (Nombre minimum de jours pour l’évaluation ) existent.
    • Valeurs prises en charge :
      • AND: L’évaluation reste active jusqu’à ce que les conditions Signaux minimaux pour l’évaluation et Jours minimums pour l’évaluation soient toutes deux satisfaites.
      • OR: l’évaluation reste active jusqu’à ce que l’une des conditions Signaux minimaux pour l’évaluation ou Jours minimums pour l’évaluation soit satisfaite.
    • Valeur par défaut: OR

    Table d’exécution de l’évaluation des tests A/B

    La table Exécution de l’évaluation des tests A/B [evaluation_execution] stocke les détails des opérations individuelles exécutées dans le cadre des évaluations des tests A/B pour le trafic de recherche en direct.

    Tableau 2. evaluation_execution
    Colonne Description
    Numéro Numéro généré automatiquement pour identifier l’opération d’évaluation.
    Évaluation Référence à l’enregistrement de l’évaluation dans la table Évaluation des tests A/B [évaluation].
    ID d'artefact Sys_id de l’enregistrement analysé par cette opération d’évaluation.
    État État de l’exécution de l’évaluation de l’enregistrement.
    • Valeurs prises en charge :
      • Queued: l’opération d’évaluation est mise en file d’attente pour l’exécution.
      • In Progress: L’opération d’évaluation est en cours.
      • Scoring: l’opération d’évaluation est en phase de notation.
      • Complete: l’opération d’évaluation s’est terminée avec succès.
      • Errored: échec de l’opération d’évaluation avec une erreur.
      • Canceled: l’opération d’évaluation a été annulée par le système.
      • Suspended: L’opération d’évaluation a été suspendue par le système.
    • Valeur par défaut: Queued
    Date de démarrage Date et heure auxquelles l’opération d’évaluation a démarré.
    Date de fin Date et heure de fin de l’opération d’évaluation.

    Table des paramètres d’évaluation des tests A/B

    La table Paramètre d’évaluation des tests A/B [evaluation_parameter] stocke les détails des paramètres de requête de recherche individuels pris en compte dans les évaluations des tests A/B pour le trafic de recherche en direct.

    Tableau 3. evaluation_parameter
    Colonne Description
    Évaluation Référence à l’enregistrement de l’évaluation dans la table Évaluation des tests A/B [évaluation].
    Nom Nom et description du paramètre d’évaluation.
    Utiliser le paramètre affecté à l'artefact
    • Type : booléen
    • Valeurs prises en charge :
      • true: comparer la valeur spécifiée Parameter Values à la valeur de paramètre de requête de recherche actuellement affectée sur l’artefact fourni.
      • false: ne pas comparer la valeur spécifiée Parameter Values à la valeur de paramètre de requête de recherche actuellement affectée sur l’artefact fourni
    • Valeur par défaut: true
    Pourcentage du trafic des valeurs de paramètres Pourcentage de requêtes de recherche à appliquer aux requêtes spécifiées Parameter Values lors de l’évaluation A/B.
    • Type : nombre entier
    • Valeur par défaut: 0
    • Valeur maximale : 100
    Valeurs des paramètres Liste JSON de valeurs à comparer à la valeur actuelle du paramètre de requête de recherche si Use Artifact's Assigned Parameter la valeur est vrai.
    Type de paramètre

    Tapez le paramètre de requête de recherche. La valeur sélectionnée détermine la façon dont ils Parameter Values sont utilisés pendant et après une évaluation A/B.

    Valeurs prises en charge :
    • Search Context Parameters: fusionner et remplacer les paramètres de contexte du profil de recherche avec les demandes de Parameter Values requêtes de recherche. À la fin de l’évaluation, utilisez la valeur du paramètre de contexte de requête de recherche définie avec le score gagnant pour remplacer ou fusionner les paramètres de contexte du profil de recherche pertinents.
    • Search QnA Genius Result Configuration: appliquer aux configurations de résultats Genius de questions-réponses Parameter Values utilisées dans les demandes de requêtes de recherche. À la fin de l’évaluation, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre de configuration de résultat Genius au score gagnant.
    • Search QnA Model: appliquer les Parameter Values modèles aux résultats Genius de questions-réponses utilisés dans les demandes de requêtes de recherche. À la fin de l’évaluation, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre du modèle de résultats Genius de questions-réponses au score gagnant.
    • Search Relevancy Model: appliquer les comme modèles de pertinence de recherche à utiliser dans les Parameter Values demandes de requêtes de recherche. À la fin de l’évaluation, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre du modèle de pertinence au score gagnant.
    • Search REST Parameters: fusionner et remplacer les paramètres de requête de profil de recherche par les demandes de Parameter Values requête de recherche. À la fin de l’évaluation, utilisez la valeur du paramètre de requête de recherche définie avec le score gagnant pour remplacer ou fusionner les paramètres de profil de recherche pertinents.
    Type de calcul de score

    Forme de calcul utilisée pour calculer les scores de valeur du paramètre de requête de recherche et trouver la meilleure valeur.

    Valeurs prises en charge :
    • Average Click Position: la meilleure valeur de paramètre de requête de recherche est celle dont le score moyen de position au clic est le plus bas.
      Remarque :
      Recherche IA Calcule le score moyen de position au clic en divisant la somme de tous les classements sélectionnés dans les résultats de recherche par le nombre de recherches. Le résultat de recherche le mieux classé a le rang 1, le suivant le mieux classé a le rang 2, et ainsi de suite. Par exemple, si vous effectuez deux recherches, en sélectionnant le premier résultat dans un cas et le second résultat dans l’autre, votre score moyen de position au clic est (1 + 2) / 2 = 1,5.
    • Genius Result Helpfulness: la meilleure valeur de paramètre de requête de recherche est celle ayant le score d’utilité le plus élevé. Ce calcul prend en compte si une réponse de résultat Genius pertinente est apparue dans vos résultats de recherche.
      Remarque :
      Le score d’utilité est une mesure qui indique si les réponses de résultat Genius ont été utiles dans le contexte de votre recherche.
    • Helpfulness: la meilleure valeur de paramètre de requête de recherche est celle ayant le score d’utilité le plus élevé. Contrairement à Genius Result Helpfulness, ce calcul ne tient pas compte de l’apparition ou non d’une réponse de résultat Genius pertinente dans vos résultats de recherche.
    Fournisseur de signal Fournisseur de signaux de recherche nécessaires pour évaluer le paramètre de requête de recherche. Search Event Signal Provider est la seule valeur prise en charge.

    Table de résultats des paramètres d’évaluation des tests A/B

    La table Résultat du paramètre d’évaluation des tests A/B [evaluation_parameter_result] stocke les résultats de calcul des paramètres de requête de recherche individuels pris en compte dans les évaluations des tests A/B pour le trafic de recherche en direct.

    Tableau 4. evaluation_parameter_result
    Colonne Description
    Exécution de l'évaluation Référence à l’enregistrement pour l’exécution de l’évaluation sur la table Exécution de l’évaluation des tests A/B [evaluation_execution].
    Évaluation des paramètres Référence à l’enregistrement du paramètre de requête de recherche dans la table Paramètre d’évaluation des tests A/B [evaluation_parameter].
    Meilleure valeur Meilleure valeur pour le paramètre de requête de recherche, telle que déterminée par .Winning Score
    Score gagnant Score numérique du paramètre de requête de recherche, déterminé à l’aide de .Score Calculation Type
    Métadonnées du score Métadonnées issues du calcul du score pour le paramètre de requête de recherche.

    Exclure un profil de recherche du cadre de travail d’évaluation des paramètres de requête de recherche

    Excluez un profil de recherche des évaluations de tests A/B du trafic en direct Recherche IA . Cette procédure empêche Recherche IA d’utiliser les résultats de l’évaluation des tests A/B lors de la publication du modèle de pertinence des résultats de recherche du profil de recherche et de son modèle de validation des réponses aux questions-réponses Genius.

    Avant de commencer

    Rôle requis : ais_admin

    Pourquoi et quand exécuter cette tâche

    L’infrastructure d’évaluation des paramètres de requête de recherche effectue des évaluations de tests A/B des paramètres de configuration de recherche à l’aide du trafic de recherche en direct. Par défaut, Recherche IA évalue les paramètres de configuration pour tous les profils de recherche.

    Les administrateurs de Search peuvent exclure des profils de recherche individuels du cadre de travail d’évaluation des paramètres de requête de recherche. L’exclusion d’un profil de recherche du cadre de travail empêche Recherche IA d’effectuer des évaluations de tests A/B pour le trafic de recherche en direct qui utilise le profil de recherche exclu.
    Remarque :
    Lorsque vous excluez un profil de recherche des évaluations, Recherche IA les résultats de l’évaluation ne sont plus pris en compte lors de la mise à jour des modèles de pertinence de l’apprentissage machine et de compréhension de lecture machine (MRC) pour ce profil de recherche. Par conséquent, les paramètres de notation de pertinence et les paramètres de filtrage des réponses aux résultats Genius de questions-réponses pour le profil de recherche peuvent moins refléter votre trafic de recherche. Pour plus d’informations sur la façon d’utiliser Recherche IA les résultats des tests d’évaluation A/B lors de la publication de ces modèles, consultez Pertinence de l’apprentissage machine dans Recherche IA et Résultats Genius de questions-réponses.

    Procédure

    1. Accédez à la Tout > Recherche IA > Expérience Search > Profils de recherche.
    2. Ouvrez l’enregistrement du profil de recherche que vous souhaitez exclure des évaluations de tests A/B du trafic de recherche en direct.
    3. Si le formulaire Profil de recherche n’affiche pas déjà le champ Exclure de l’évaluation , configurez la mise en page du formulaire pour rendre le champ visible.
      Pour en savoir plus sur la configuration d’une mise en page de formulaire afin de rendre les champs visibles, reportez-vous à la section Configurer la mise en page du formulaire.
    4. Sélectionnez l’option Exclure de l’évaluation .
    5. Sélectionnez Mettre à jour.

    Résultats

    Recherche IA n’effectue plus d’évaluations de tests A/B pour le trafic qui utilise le profil de recherche exclu. La pertinence de l’apprentissage machine ne met plus à jour le modèle de pertinence pour le profil de recherche.