Cadre de travail d’évaluation des paramètres de requête de recherche
Recherche IA effectue des évaluations de tests A/B qui comparent la pertinence des résultats pour d’autres ensembles de valeurs de paramètres de requête de recherche. Ces évaluations déterminent les modèles utilisés Recherche IA pour la pertinence du machine learning et pour les résultats Genius des questions-réponses.
Le cadre de travail d’évaluation des paramètres de requête de recherche permet de tester la pertinence A/B sur le trafic de recherche en direct. Recherche IA Prend en compte les résultats de ces tests en direct ainsi que son évaluation hors connexion des données de signaux de recherche agrégés pour déterminer ce qui suit :
- Détermination du modèle de pertinence à publier pour un profil de recherche. Pour plus de détails sur la génération et la publication de modèles de pertinence, reportez-vous à la section Pertinence de l’apprentissage machine dans Recherche IA.
- Détermination du modèle de compréhension de lecture automatique (MRC) à utiliser lors de la validation des réponses potentielles aux résultats Genius des questions-réponses. Pour en savoir plus sur le modèle MRC utilisé pour les résultats Genius de questions-réponses, reportez-vous à la section Résultats Genius de questions-réponses.
Recherche IA calcule les résultats d’évaluation des tests A/B tous les soirs.
Remarque :
Le cadre de travail d’évaluation des paramètres de requête de recherche ne prend pas en charge les tests A/B configurés par l’utilisateur. Tous les tests A/B sont automatiquement effectués par Recherche IA dans le cadre de son évaluation des modèles de pertinence du machine learning.
Le cadre de travail d’évaluation des paramètres de requête de recherche fait partie de la suite de fonctionnalités de télémétrie adaptative.
Tables du cadre de travail d’évaluation des paramètres de requête de recherche
Le cadre de travail d’évaluation des paramètres de requête de recherche utilise Recherche IA des tables pour stocker les résultats et les mesures des tests A/B du trafic de recherche en direct. Recherche IA utilise les données stockées pour déterminer le modèle de pertinence et le modèle de validation de réponse aux résultats Genius aux questions-réponses à publier pour une application de recherche.
Table d’évaluation des tests A/B
La table Évaluation des tests A/B [evaluation] stocke les détails des évaluations de tests A/B effectuées sur le trafic de recherche en direct.
Remarque :
Le système nettoie automatiquement cette table, en supprimant les enregistrements des évaluations inactives datant de plus de deux ans.
| Colonne | Description |
|---|---|
| Numéro | Numéro généré automatiquement pour identifier l’évaluation. |
| Nom | Nom et description de l’évaluation. |
| Source | Nom de la table contenant les enregistrements pour lesquels exécuter l’évaluation. |
| Périmètre du test | Portée de l’évaluation.
|
| Fournisseur d’artefact | Liste des classes de filtrage d’artefacts qui fournissent des enregistrements pour le test. |
| Artefacts sélectionnés | Liste des valeurs de sys_id d’enregistrement séparées par des virgules. Lorsque le champ d’application de test est défini sur SÉLECTIONNÉ, l’évaluation s’exécute uniquement sur les enregistrements dont les valeurs sys_id sont spécifiées dans cette liste. |
| Nombre minimum de signaux pour l’évaluation | Nombre minimum de signaux de recherche que l’évaluation doit recueillir avant de se terminer.
Pour plus de détails sur la façon dont cette condition interagit avec la condition Nombre minimum de jours pour l’évaluation , voir Opérateur de critères de fin. |
| Nombre minimum de jours pour l’évaluation | Nombre minimum de jours pendant lesquels l’évaluation doit être active avant de se terminer.
Pour plus de détails sur la façon dont cette condition interagit avec la condition Minimum de signaux pour l’évaluation , voir Opérateur de critères de fin. |
| Opérateur de critères de fin | Opérateur logique à utiliser pour les conditions de fin d’évaluation lorsqu’il existe deux conditions Nombre minimum de signaux pour l’évaluation et Nombre minimum de jours pour l’évaluation .
|
Table d’exécution de l’évaluation des tests A/B
La table Exécution de l’évaluation des tests A/B [evaluation_execution] stocke les détails des opérations individuelles exécutées dans le cadre des évaluations de tests A/B pour le trafic de recherche en direct.
| Colonne | Description |
|---|---|
| Numéro | Numéro généré automatiquement pour identifier l’opération d’évaluation. |
| Évaluation | Référence à l’enregistrement de l’évaluation dans la table Évaluation des tests A/B [evaluation]. |
| ID d'artefact | Sys_id pour l’enregistrement analysé par cette opération d’évaluation. |
| État | État de l’exécution de l’évaluation de l’enregistrement.
|
| Date de début | Date et heure de début de l’opération d’évaluation. |
| Date de fin | Date et heure de fin de l’opération d’évaluation. |
Table de paramètres d’évaluation des tests A/B
La table Paramètres d’évaluation des tests A/B [evaluation_parameter] stocke les détails des paramètres de requête de recherche individuels pris en compte dans les évaluations des tests A/B pour le trafic de recherche en direct.
| Colonne | Description |
|---|---|
| Évaluation | Référence à l’enregistrement de l’évaluation dans la table Évaluation des tests A/B [evaluation]. |
| Nom | Nom et description du paramètre d’évaluation. |
| Utiliser le paramètre affecté à l'artefact |
|
| Pourcentage du trafic des valeurs de paramètres | Pourcentage de requêtes de recherche à appliquer à ce qui a été spécifié Parameter Values lors de l’évaluation A/B.
|
| Valeurs des paramètres | Liste JSON de valeurs à comparer à la valeur actuelle du paramètre de requête de recherche lorsque Use Artifact's Assigned Parameter la valeur est vrai. |
| Type de paramètre | Type pour le paramètre de requête de recherche. La valeur sélectionnée détermine la façon dont ils Parameter Values sont utilisés pendant et après une évaluation A/B. Valeurs prises en charge :
|
| Type de calcul de score | Forme de calcul utilisée pour calculer les scores des valeurs des paramètres de requête de recherche et trouver la meilleure valeur. Valeurs prises en charge :
|
| Fournisseur de signal | Fournisseur des signaux de recherche nécessaires pour noter le paramètre de requête de recherche. Search Event Signal Provider est la seule valeur prise en charge. |
Paramètre d’évaluation des tests A/B Table de résultats
La table Résultats des paramètres d’évaluation des tests A/B [evaluation_parameter_result] stocke les résultats de calcul des paramètres de requête de recherche individuels pris en compte dans les évaluations de tests A/B pour le trafic de recherche en direct.
| Colonne | Description |
|---|---|
| Exécution de l’évaluation | Référence à l’enregistrement de l’exécution de l’évaluation sur la table Exécution de l’évaluation des tests A/B [evaluation_execution]. |
| Évaluation des paramètres | Référence à l’enregistrement du paramètre de requête de recherche dans la table Paramètres d’évaluation des tests A/B [evaluation_parameter]. |
| Meilleur rapport qualité-prix | Meilleure valeur pour le paramètre de requête de recherche, telle que déterminée par le Winning Score. |
| Score gagnant | Score numérique du paramètre de requête de recherche, déterminé à l’aide de l’option Score Calculation Type. |
| Métadonnées du score | Métadonnées du calcul du score pour le paramètre de requête de recherche. |
Exclure un profil de recherche du cadre de travail d’évaluation des paramètres de requête de recherche
Exclure un profil de recherche des évaluations des tests A/B du trafic réel Recherche IA . Cette procédure empêche Recherche IA d’utiliser les résultats d’évaluation des tests A/B lors de la publication du modèle de pertinence des résultats de recherche du profil de recherche et de son modèle de validation des réponses aux résultats Genius aux questions-réponses.
Avant de commencer
Rôle requis : ais_admin
Pourquoi et quand exécuter cette tâche
Le cadre de travail d’évaluation des paramètres de requête de recherche effectue des évaluations A/B des paramètres de configuration de recherche à l’aide du trafic de recherche en direct. Par défaut, Recherche IA évalue les paramètres de configuration de tous les profils de recherche.
Les administrateurs de Search peuvent exclure des profils de recherche individuels du cadre de travail d’évaluation des paramètres de requête de recherche. L’exclusion d’un profil de recherche du cadre de travail empêche Recherche IA d’effectuer des évaluations de tests A/B pour le trafic de recherche en direct qui utilise le profil de recherche exclu.
Remarque :
Lorsque vous excluez un profil de recherche des évaluations, Recherche IA il ne prend plus en compte les résultats de l’évaluation lors de la mise à jour des modèles de pertinence d’apprentissage machine et de compréhension de la lecture automatique (MRC) pour ce profil de recherche. Par conséquent, les paramètres de notation de pertinence et les paramètres de filtrage des réponses aux questions-réponses Genius Results pour le profil de recherche peuvent être moins représentatifs de votre trafic de recherche. Pour plus d’informations sur l’utilisation Recherche IA des résultats des tests d’évaluation A/B lors de la publication de ces modèles, reportez-vous aux sections Pertinence de l’apprentissage machine dans Recherche IA et Résultats Genius de questions-réponses.
Procédure
Résultats
Recherche IA n’effectue plus d’évaluations de tests A/B pour le trafic qui utilise le profil de recherche exclu. La pertinence d’apprentissage machine ne met plus à jour le modèle de pertinence pour le profil de recherche.