Cadre de travail d’évaluation des paramètres de requête de recherche

Rversion finale: Yokohama

Mis à jour 30 janv. 2025

10 minutes de lecture

Recherche IA effectue des évaluations de tests A/B qui comparent la pertinence des résultats pour d’autres ensembles de valeurs de paramètres de requête de recherche. Ces évaluations déterminent les modèles utilisés Recherche IA pour la pertinence de l’apprentissage machine et pour les résultats Genius de questions-réponses.

Le cadre de travail d’évaluation des paramètres de requête de recherche permet de tester la pertinence A/B sur le trafic de recherche en direct. Recherche IA prend en compte les résultats de ces tests en direct ainsi que son évaluation hors ligne des données agrégées des signaux de recherche lors des déterminations suivantes :

Détermination du modèle de pertinence à publier pour un profil de recherche. Pour plus d’informations sur la génération et la publication de modèles de pertinence, reportez-vous à la section Pertinence de l’apprentissage machine dans Recherche IA.
Détermination du modèle de compréhension de lecture automatique (MRC) à utiliser lors de la validation des réponses potentielles du résultat Genius de questions-réponses. Pour plus d’informations sur le modèle MRC utilisé pour les résultats Genius de questions-réponses, reportez-vous à la section Résultats Genius de questions-réponses.

Recherche IA calcule les résultats d’évaluation des tests A/B tous les soirs.

Le cadre de travail d’évaluation des paramètres de requête de recherche fait partie de la suite de fonctionnalités de télémétrie adaptative.

Tables du cadre de travail d’évaluation des paramètres de requête de recherche

Le cadre de travail d’évaluation des paramètres de requête de recherche utilise Recherche IA des tables pour stocker les résultats et les mesures des tests A/B du trafic de recherche en direct. Recherche IA utilise les données stockées pour déterminer le modèle de pertinence et le modèle de validation de réponse de résultat Genius aux questions-réponses à publier pour une application de recherche.

Table d’évaluation des tests A/B

La table Évaluation des tests A/B [evaluation ] stocke les détails des évaluations des tests A/B effectuées sur le trafic de recherche en direct.

Remarque :

Le système nettoie automatiquement cette table en supprimant les enregistrements des évaluations inactives vieilles de plus de deux ans.

Tableau 1. évaluation
Colonne	Description
Numéro	Numéro généré automatiquement pour identifier l’évaluation.
Nom	Nom et description de l’évaluation.
Source	Nom de la table contenant les enregistrements pour lesquels exécuter l’évaluation.
Périmètre du test	Portée de l’évaluation. Valeurs prises en charge : ALL: exécutez l’évaluation sur tous les enregistrements de la table spécifiée par source. SELECTED: exécutez uniquement l’évaluation par rapport aux enregistrements spécifiés dans la valeur du champ Artefacts sélectionnés . Valeur par défaut: ALL
Fournisseur d'artefact	Liste des classes de filtrage d’artefacts qui fournissent des enregistrements pour le test.
Artefacts sélectionnés	Liste des valeurs d’enregistrements sys_id séparées par des virgules. Lorsque le champ d’application du test est défini sur SÉLECTIONNÉ, l’évaluation s’exécute uniquement sur les enregistrements dont sys_id valeurs sont spécifiées dans cette liste.
Nombre minimum de signaux pour l'évaluation	Nombre minimum de signaux de recherche que l’évaluation doit recueillir avant de se terminer. Type : entier Valeur par défaut : 0 (aucun minimum) Valeur maximale : 30000 Pour plus de détails sur la façon dont cette condition interagit avec la condition Nombre minimum de jours pour l’évaluation , voir Opérateur de critères de fin.
Nombre minimum de jours pour l'évaluation	Nombre minimum de jours pendant lesquels l’évaluation doit être active avant de se terminer. Type : entier Valeur par défaut : 0 (aucun minimum) Valeur maximale : 180 Pour plus de détails sur la façon dont cette condition interagit avec la condition Signaux minimums pour évaluation , voir Opérateur de critères de fin.
Opérateur de critères de fin	Opérateur logique à utiliser pour les conditions de fin d’évaluation lorsque les conditions de signaux minimum pour l’évaluation et de nombre minimum de jours pour l’évaluation existent. Valeurs prises en charge : AND: l’évaluation reste active jusqu’à ce que les conditions Minimum de signaux pour l’évaluation et Nombre minimum de jours pour l’évaluation soient satisfaites. OR: l’évaluation reste active jusqu’à ce que l’une des conditions Minimum de signaux pour l’évaluation ou Nombre minimum de jours pour l’évaluation soit remplie. Valeur par défaut: OR

Table d’exécution de l’évaluation des tests A/B

La table Exécution de l’évaluation des tests A/B [evaluation_execution] stocke les détails des opérations individuelles exécutées dans le cadre des évaluations des tests A/B pour le trafic de recherche en direct.

Tableau 2. evaluation_execution
Colonne	Description
Numéro	Numéro généré automatiquement pour identifier l’opération d’évaluation.
Évaluation	Référence à l’enregistrement de l’évaluation sur la table Évaluation des tests A/B [évaluation].
ID d'artefact	Sys_id de l’enregistrement analysé par cette opération d’évaluation.
État	État de l’exécution de l’évaluation d’enregistrement. Valeurs prises en charge : Queued: l’opération d’évaluation est mise en file d’attente pour exécution. In Progress: L’opération d’évaluation est en cours. Scoring: l’opération d’évaluation est en phase de notation. Complete: opération d’évaluation terminée avec succès. Errored: échec de l’opération d’évaluation avec une erreur. Canceled: l’opération d’évaluation a été annulée par le système. Suspended: l’opération d’évaluation a été suspendue par le système. Valeur par défaut: Queued
Date de début	Date et heure de début de l’opération d’évaluation.
Date de fin	Date et heure de fin de l’opération d’évaluation.

Table des paramètres d’évaluation des tests A/B

La table Paramètres d’évaluation des tests A/B [evaluation_parameter] stocke les détails des paramètres de requête de recherche individuels pris en compte dans les évaluations de tests A/B pour le trafic de recherche en direct.

Tableau 3. evaluation_parameter
Colonne	Description
Évaluation	Référence à l’enregistrement de l’évaluation sur la table Évaluation des tests A/B [évaluation].
Nom	Nom et description du paramètre d’évaluation.
Utiliser le paramètre affecté à l'artefact	Type : booléen Valeurs prises en charge : true: comparez la valeur du paramètre de requête de recherche spécifiée Parameter Values à la valeur actuellement affectée sur l’artefact fourni. false: ne compare pas la valeur du paramètre de requête de recherche spécifiée Parameter Values à la valeur de paramètre de requête actuellement affectée sur l’artefact fourni Valeur par défaut: true
Pourcentage du trafic des valeurs de paramètres	Pourcentage de requêtes de recherche à appliquer à ce qui a été spécifié Parameter Values lors de l’évaluation A/B. Type : entier Valeur par défaut: 0 Valeur maximale : 100
Valeurs des paramètres	Liste JSON de valeurs à comparer à la valeur actuelle du paramètre de requête de recherche lorsque la Use Artifact's Assigned Parameter valeur est vrai.
Type de paramètre	Type pour le paramètre de requête de recherche. La valeur sélectionnée détermine la façon dont ils Parameter Values sont utilisés pendant et après une évaluation A/B. Valeurs prises en charge : Search Context Parameters: fusionner et remplacer les paramètres de contexte du profil de recherche par des Parameter Values demandes de requête de recherche. À la fin de l’évaluation, utilisez la valeur du paramètre de contexte de requête de recherche définie avec le score gagnant pour remplacer ou fusionner les paramètres de contexte du profil de recherche pertinents. Search QnA Genius Result Configuration: à appliquer aux Parameter Values configurations de résultats Genius de questions-réponses utilisées dans les demandes de requête de recherche. À la fin de l’évaluation, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre de configuration des résultats Genius avec le score gagnant. Search QnA Model: à appliquer aux Parameter Values modèles de résultats Genius de questions-réponses utilisés dans les demandes de requête de recherche. Une fois l’évaluation terminée, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre du modèle de résultats Genius pour les questions-réponses avec le score gagnant. Search Relevancy Model: appliquer les modèles de pertinence de recherche à utiliser dans les Parameter Values demandes de requête de recherche. À la fin de l’évaluation, mettez à jour le profil de recherche pertinent pour inclure la valeur du paramètre du modèle de pertinence avec le score gagnant. Search REST Parameters: fusionner et remplacer les paramètres de requête de profil de recherche par des demandes de Parameter Values requête de recherche. À la fin de l’évaluation, utilisez la valeur du paramètre de requête de recherche définie avec le score gagnant pour remplacer ou fusionner les paramètres de profil de recherche pertinents.
Type de calcul de score	Forme de calcul utilisée pour calculer les scores de valeur des paramètres de requête de recherche et trouver la meilleure valeur. Valeurs prises en charge : Average Click Position: la meilleure valeur de paramètre de requête de recherche est celle dont le score de position au clic moyen est le plus bas. Remarque : Recherche IA Calcule le score moyen de position au clic en divisant la somme de tous les classements sélectionnés des résultats de recherche par le nombre de recherches. Le résultat de recherche le mieux classé a le rang 1, le suivant le rang 2, et ainsi de suite. Par exemple, si vous effectuez deux recherches, en sélectionnant le premier résultat dans un cas et le second résultat dans l’autre, votre score moyen de position de clic est de (1 + 2) / 2 = 1,5. Genius Result Helpfulness: la meilleure valeur de paramètre de requête de recherche est celle avec le score d’utilité le plus élevé. Ce calcul tient compte de l’apparition ou non d’une réponse Genius Result pertinente dans vos résultats de recherche. Remarque : Le score d’utilité est une mesure qui indique si les réponses des résultats Genius ont été utiles dans le contexte de votre recherche. Helpfulness: la meilleure valeur de paramètre de requête de recherche est celle avec le score d’utilité le plus élevé. Contrairement à Genius Result Helpfulness, ce calcul ne tient pas compte de l’apparition d’une réponse Genius Result pertinente dans vos résultats de recherche.
Fournisseur de signal	Fournisseur des signaux de recherche nécessaires pour évaluer le paramètre de requête de recherche. Search Event Signal Provider est la seule valeur prise en charge.

Table des résultats des paramètres d’évaluation des tests A/B

La table Résultat des paramètres d’évaluation des tests A/B [evaluation_parameter_result] stocke les résultats de calcul des paramètres de requête de recherche individuels pris en compte dans les évaluations de tests A/B pour le trafic de recherche en direct.

Tableau 4. evaluation_parameter_result
Colonne	Description
Exécution de l'évaluation	Référence à l’enregistrement de l’exécution de l’évaluation dans la table Exécution de l’évaluation des tests A/B [evaluation_execution].
Évaluation des paramètres	Référence à l’enregistrement du paramètre de requête de recherche sur la table Paramètre d’évaluation des tests A/B [evaluation_parameter].
Meilleure valeur	Meilleure valeur pour le paramètre de requête de recherche, telle que déterminée par le Winning Score.
Score gagnant	Score numérique du paramètre de requête de recherche, déterminé à l’aide du paramètre .Score Calculation Type
Métadonnées du score	Métadonnées issues du calcul de score pour le paramètre de requête de recherche.

Exclure un profil de recherche du cadre de travail d’évaluation des paramètres de requête de recherche

Exclure un profil de recherche des évaluations de tests A/B du trafic en direct Recherche IA . Cette procédure empêche Recherche IA d’utiliser les résultats d’évaluation des tests A/B lors de la publication du modèle de pertinence des résultats de recherche du profil de recherche et de son modèle de validation des réponses aux résultats Genius de questions-réponses.

Avant de commencer

Rôle requis : ais_admin

Pourquoi et quand exécuter cette tâche

Le cadre de travail d’évaluation des paramètres de requête de recherche effectue des évaluations A/B des paramètres de configuration de recherche à l’aide du trafic de recherche en direct. Par défaut, Recherche IA évalue les paramètres de configuration de tous les profils de recherche.

Les administrateurs de Search peuvent exclure des profils de recherche individuels du cadre de travail d’évaluation des paramètres de requête de recherche. L’exclusion d’un profil de recherche du cadre de travail empêche Recherche IA d’effectuer des évaluations de tests A/B pour le trafic de recherche en direct qui utilise le profil de recherche exclu.

Remarque :

Lorsque vous excluez un profil de recherche des évaluations, Recherche IA il ne prend plus en compte les résultats de l’évaluation lors de la mise à jour des modèles de pertinence de l’apprentissage machine et de compréhension de lecture automatique (MRC) pour ce profil de recherche. Par conséquent, les paramètres de notation de pertinence et les paramètres de filtrage des réponses aux résultats Genius de questions-réponses pour le profil de recherche peuvent être moins représentatifs de votre trafic de recherche. Pour plus d’informations sur l’utilisation Recherche IA des résultats des tests d’évaluation A/B lors de la publication de ces modèles, voir Pertinence de l’apprentissage machine dans Recherche IA et Résultats Genius de questions-réponses.

Procédure

Accédez à la Tout > Recherche IA > Expérience Search > Profils de recherche.
Ouvrez l’enregistrement du profil de recherche que vous souhaitez exclure des évaluations de tests A/B du trafic de recherche en direct.
Si le formulaire Profil de recherche n’affiche pas déjà le champ Exclure de l’évaluation , configurez la mise en page du formulaire pour rendre le champ visible.
Pour plus d’informations sur la configuration d’une mise en page de formulaire pour rendre les champs visibles, reportez-vous à la section Configurer la mise en page du formulaire.
Sélectionnez l’option Exclure de l’évaluation .
Sélectionnez Mettre à jour.

Résultats

Recherche IA n’effectue plus d’évaluations de tests A/B pour le trafic qui utilise le profil de recherche exclu. La pertinence de l’apprentissage machine ne met plus à jour le modèle de pertinence pour le profil de recherche.