Cadre de travail d’évaluation des paramètres de requête Search

Rversion finale: Washingtondc

Mis à jour 1 févr. 2024

10 minutes de lecture

Recherche IA effectue des évaluations de tests A/B qui comparent la pertinence des résultats à d’autres ensembles de valeurs de paramètres de requête de recherche. Ces évaluations déterminent les modèles utilisés Recherche IA pour la pertinence de l’apprentissage machine et pour les résultats Genius de questions-réponses.

Le cadre de travail d’évaluation des paramètres de requête de recherche permet de tester la pertinence A/B sur le trafic de recherche en direct. Recherche IA tient compte des résultats de ces tests en direct ainsi que de leur évaluation hors ligne des données agrégées des signaux de recherche lorsqu’il prend les décisions suivantes :

Détermination du modèle de pertinence à publier pour un profil de recherche. Pour en savoir plus sur la génération et la publication de modèles de pertinence, reportez-vous à la section Pertinence de l’apprentissage machine dans Recherche IA.
Détermination du modèle de compréhension lecture automatique (MRC) à utiliser lors de la validation des réponses potentielles aux questions-réponses Genius Result. Pour plus d’informations sur le modèle MRC utilisé pour les résultats Genius des questions-réponses, reportez-vous à Q&R : résultats Genius.

Recherche IA calcule les résultats de l’évaluation des tests A/B tous les soirs.

Le cadre de travail d’évaluation des paramètres de requête de recherche fait partie de la suite de fonctionnalités Télémétrie adaptative.

Tables du cadre de travail d’évaluation des paramètres de requête Search

Le cadre de travail d’évaluation des paramètres de requête de recherche pour Recherche IA utilise des tables pour stocker les résultats et les mesures des tests A/B du trafic de recherche en direct. Recherche IA utilise les données stockées lors de la détermination du modèle de pertinence et du modèle de validation des réponses aux réponses aux questions-réponses à publier pour une application de recherche.

Table d’évaluation des tests A/B

La table Évaluation des tests A/B [evaluation] stocke les détails des évaluations des tests A/B effectuées sur le trafic de recherche en direct.

Remarque :

Le système nettoie automatiquement cette table, en supprimant les enregistrements des évaluations inactives datant de plus de deux ans.

Tableau 1. Évaluation
Colonne	Description
Numéro	Numéro généré automatiquement pour identifier l’évaluation.
Nom	Nom et description de l’évaluation.
Source	Nom de la table contenant les enregistrements pour lesquels exécuter l’évaluation.
Périmètre du test	Champ d’application de l’évaluation. Valeurs prises en charge : ALL: exécutez l’évaluation par rapport à tous les enregistrements de la table spécifiée par Source. SELECTED: exécutez l’évaluation uniquement par rapport aux enregistrements spécifiés dans la valeur du champ Artefacts sélectionnés . Valeur par défaut : ALL
Fournisseur d'artefact	Liste des classes de filtrage d’artefact qui fournissent des enregistrements pour le test.
Artefacts sélectionnés	Liste des valeurs des sys_id d’enregistrement séparées par des virgules. Lorsque le périmètre du test est défini sur SELECTED, l’évaluation s’exécute uniquement sur les enregistrements avec sys_id valeurs spécifiées dans cette liste.
Nombre minimum de signaux pour l'évaluation	Nombre minimum de signaux de recherche que l’évaluation doit recueillir avant de se terminer. Type : nombre entier Valeur par défaut : 0 (aucune valeur minimale) Valeur maximale : 30000 Pour plus de détails sur la façon dont cette condition interagit avec la condition Nombre minimum de jours pour l’évaluation , consultez Opérateur de critères de fin.
Nombre minimum de jours pour l'évaluation	Nombre minimum de jours pendant lesquels l’évaluation doit être active avant de se terminer. Type : nombre entier Valeur par défaut : 0 (aucune valeur minimale) Valeur maximale : 180 Pour plus d’informations sur la façon dont cette condition interagit avec la condition Minimum de signaux pour l’évaluation , consultez Opérateur de critères de fin.
Opérateur de critères de fin	Opérateur logique à utiliser pour les conditions de fin d’évaluation lorsque des conditions minimales de signaux pour l’évaluation et de jours minimums pour l’évaluation existent. Valeurs prises en charge : AND: L’évaluation reste active jusqu’à ce que les conditions Signaux minimaux pour l’évaluation et Jours minimums pour l’évaluation soient satisfaites. OR: L’évaluation reste active jusqu’à ce que l’une des conditions Nombre minimal de signaux pour l’évaluation ou Nombre minimal de jours pour l’évaluation soit satisfaite. Valeur par défaut : OR

Table d’exécution de l’évaluation des tests A/B

La table Exécution de l’évaluation des tests A/B [evaluation_execution] stocke les détails des opérations individuelles exécutées dans le cadre des évaluations des tests A/B pour le trafic de recherche en direct.

Tableau 2. evaluation_execution
Colonne	Description
Numéro	Numéro généré automatiquement pour identifier l’opération d’évaluation.
Évaluation	Référence à l’enregistrement de l’évaluation dans la table Évaluation des tests A/B [evaluation].
ID d'artefact	Sys_id pour l’enregistrement analysé par cette opération d’évaluation.
État	État pour l’exécution de l’évaluation de l’enregistrement. Valeurs prises en charge : Queued: l’opération d’évaluation est mise en file d’attente d’exécution. In Progress: L’opération d’évaluation est en cours. Scoring: l’opération d’évaluation est dans la phase de notation. Complete: l’opération d’évaluation s’est terminée avec succès. Errored: l’opération d’évaluation a échoué avec une erreur. Canceled: l’opération d’évaluation a été annulée par le système. Suspended: L’opération d’évaluation a été suspendue par le système. Valeur par défaut : Queued
Date de démarrage	Date et heure de début de l’opération d’évaluation.
Date de fin	Date et heure de fin de l’opération d’évaluation.

Table des paramètres d’évaluation des tests A/B

La table Paramètre d’évaluation des tests A/B [evaluation_parameter] stocke les détails des paramètres de requête de recherche individuels pris en compte dans les évaluations des tests A/B pour le trafic de recherche en direct.

Tableau 3. evaluation_parameter
Colonne	Description
Évaluation	Référence à l’enregistrement de l’évaluation dans la table Évaluation des tests A/B [evaluation].
Nom	Nom et description du paramètre d’évaluation.
Utiliser le paramètre affecté à l'artefact	Type : booléen Valeurs prises en charge : true: comparer la valeur du paramètre de requête de recherche spécifiée Parameter Values à la valeur de paramètre de requête de recherche actuellement affectée sur l’artefact fourni. false: ne comparez pas la valeur du paramètre de requête de recherche spécifiée Parameter Values à la valeur de paramètre de requête de recherche actuellement affectée sur l’artefact fourni Valeur par défaut : true
Pourcentage du trafic des valeurs de paramètres	Pourcentage de requêtes de recherche auquel appliquer la valeur spécifiée Parameter Values pendant l’évaluation A/B. Type : nombre entier Valeur par défaut : 0 Valeur maximale : 100
Valeurs des paramètres	Liste JSON de valeurs à comparer à la valeur actuelle du paramètre de requête de recherche lorsque Use Artifact's Assigned Parameter la valeur est vrai.
Type de paramètre	Saisissez le paramètre de requête de recherche. La valeur sélectionnée détermine la façon dont les Parameter Values agents sont utilisés pendant et après une évaluation A/B. Valeurs prises en charge : Search Context Parameters: fusionnez et remplacez les paramètres de contexte de profil de recherche par les demandes de Parameter Values requêtes de recherche. À la fin de l’évaluation, utilisez la valeur du paramètre de contexte de requête de recherche définie avec le score gagnant pour remplacer ou fusionner les paramètres de contexte de profil de recherche pertinents. Search QnA Genius Result Configuration: appliquez à la configurations des résultats Genius Q&R utilisées dans les Parameter Values demandes de requêtes de recherche. À la fin de l’évaluation, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre de configuration de résultat Genius au score gagnant. Search QnA Model: appliquez la aux modèles de Parameter Values résultats Genius Q&A utilisés dans les demandes de requêtes de recherche. À la fin de l’évaluation, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre du modèle de résultat Genius de questions-réponses au score gagnant. Search Relevancy Model: appliquez les modèles de pertinence de recherche à utiliser dans les Parameter Values demandes de requêtes de recherche. À la fin de l’évaluation, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre du modèle de pertinence au score gagnant. Search REST Parameters: fusionnez et remplacez les paramètres de requête de profil de recherche par les demandes de Parameter Values requête de recherche. À la fin de l’évaluation, utilisez la valeur du paramètre de requête de recherche définie avec le score gagnant pour remplacer ou fusionner les paramètres de profil de recherche pertinents.
Type de calcul de score	Forme de calcul utilisée pour calculer les scores des valeurs du paramètre de requête de recherche et trouver la meilleure valeur. Valeurs prises en charge : Average Click Position: la meilleure valeur de paramètre de requête de recherche est celle avec le score moyen de position de clic le plus bas. Remarque : Recherche IA Calcule le score moyen de position au clic en divisant la somme de tous les classements sélectionnés dans les résultats de recherche par le nombre de recherches. Le résultat de recherche le mieux classé est classé 1, le suivant est classé 2, et ainsi de suite. Par exemple, si vous effectuez deux recherches, en sélectionnant le premier résultat dans un cas et le second résultat dans l’autre, votre score moyen de position au clic est de (1 + 2) / 2 = 1,5. Genius Result Helpfulness: la meilleure valeur de paramètre de requête de recherche est celle ayant le score d’utilité le plus élevé. Ce calcul prend en compte si une réponse de résultat Genius pertinente est apparue dans vos résultats de recherche. Remarque : Le score d’utilité est une mesure qui indique si les réponses de résultat Genius ont été utiles dans le contexte de votre recherche. Helpfulness: la meilleure valeur de paramètre de requête de recherche est celle ayant le score d’utilité le plus élevé. Contrairement à Genius Result Helpfulness, ce calcul ne prend pas en compte l’apparition ou non d’une réponse Genius Result pertinente dans vos résultats de recherche.
Fournisseur de signal	Fournisseur des signaux de recherche nécessaires pour évaluer le paramètre de requête de recherche. Search Event Signal Provider est la seule valeur prise en charge.

Table des résultats des paramètres d’évaluation des tests A/B

La table Résultat du paramètre d’évaluation des tests A/B [evaluation_parameter_result] stocke les résultats de calcul pour les paramètres de requête de recherche individuels pris en compte dans les évaluations des tests A/B pour le trafic de recherche en direct.

Tableau 4. evaluation_parameter_result
Colonne	Description
Exécution de l'évaluation	Référence à l’enregistrement pour l’exécution de l’évaluation dans la table Exécution de l’évaluation des tests A/B [evaluation_execution].
Évaluation des paramètres	Référence à l’enregistrement pour le paramètre de requête de recherche dans la table Paramètre d’évaluation des tests A/B [evaluation_parameter].
Meilleure valeur	Meilleure valeur pour le paramètre de requête de recherche, telle que déterminée par le Winning Scorefichier .
Score gagnant	Score numérique du paramètre de requête de recherche, déterminé à l’aide de .Score Calculation Type
Métadonnées du score	Métadonnées issues du calcul du score pour le paramètre de requête de recherche.

Exclure un profil de recherche du cadre de travail d’évaluation des paramètres de requête de recherche

Excluez un profil de recherche des évaluations de test A/B du trafic en direct Recherche IA . Cette procédure empêche Recherche IA d’utiliser les résultats de l’évaluation des tests A/B lors de la publication du modèle de pertinence des résultats de recherche du profil de recherche et de son modèle de validation des réponses Q&R Genius Result.

Avant de commencer

Rôle requis : ais_admin

Pourquoi et quand exécuter cette tâche

Le cadre de travail d’évaluation des paramètres de requête de recherche effectue des évaluations par test A/B des paramètres de configuration de recherche à l’aide du trafic de recherche en direct. Évalue par défaut Recherche IA les paramètres de configuration de tous les profils de recherche.

Les administrateurs de Search peuvent exclure des profils de recherche individuels du cadre de travail d’évaluation des paramètres de requête de recherche. L’exclusion d’un profil de recherche du cadre de travail empêche Recherche IA d’effectuer des évaluations de tests A/B pour le trafic de recherche en direct qui utilise le profil de recherche exclu.

Remarque :

Lorsque vous excluez un profil de recherche des évaluations, les Recherche IA résultats de l’évaluation ne sont plus pris en compte lors de la mise à jour des modèles de pertinence de l’apprentissage machine et de compréhension de lecture machine (MRC) pour ce profil de recherche. Par conséquent, les paramètres de notation de pertinence et les paramètres de filtrage des réponses Q&R Genius Result pour le profil de recherche peuvent être moins représentatifs de votre trafic de recherche. Pour plus d’informations sur la façon d’utiliser Recherche IA les résultats des tests d’évaluation A/B lors de la publication de ces modèles, consultez Pertinence de l’apprentissage machine dans Recherche IA et Q&R : résultats Genius.

Procédure

Accédez à la Tous > Recherche IA > Expérience Search > Profils Search.
Ouvrez l’enregistrement du profil de recherche que vous souhaitez exclure des évaluations de test A/B du trafic de recherche en direct.
Si le formulaire Profil de recherche n’affiche pas déjà le champ Exclure de l’évaluation , configurez la mise en page du formulaire pour rendre le champ visible.
Pour en savoir plus sur la configuration d’une mise en page de formulaire afin de rendre les champs visibles, reportez-vous à la section Configurer la mise en page du formulaire.
Sélectionnez l’option Exclure de l’évaluation .
Sélectionnez Mettre à jour.

Résultats

Recherche IA n’effectue plus d’évaluations de tests A/B pour le trafic qui utilise le profil de recherche exclu. La pertinence de l’apprentissage machine ne met plus à jour le modèle de pertinence du profil de recherche.