Bewertungs-Framework für Suchabfrageparameter

  • Freigeben Version: Xanadu
  • Aktualisiert 1. August 2024
  • 7 Minuten Lesedauer

    • KI-Suche führt A/B-Testauswertungen durch, die die Ergebnisrelevanz für alternative Sätze von Suchabfrageparameterwerten vergleichen. Diese Auswertungen bestimmen die Modelle, die KI-Suche für die Relevanz für maschinelles Lernen und für Genius-Ergebnisse für F&A verwendet.

    Das Framework für die Bewertung von Suchabfrageparametern ermöglicht A/B-Relevanztests für den Live-Suchdatenverkehr. KI-Suche berücksichtigt die Ergebnisse dieser Live-Tests zusammen mit der Offline-Auswertung der aggregierten Suchsignaldaten, wenn folgende Entscheidungen getroffen werden:
    • Bestimmen, welches Relevanzmodell für ein Suchprofil veröffentlicht werden soll Einzelheiten zur Generierung und Veröffentlichung von Relevanzmodellen finden Sie unter Relevanz von maschinellem Lernen in KI-Suche.
    • Bestimmen, welches MRC-Modell (maschinelle Lesekompetenz) bei der Validierung potenzieller F&A-Genius-Ergebnisantworten verwendet werden soll. Weitere Informationen zum MRC-Modell, das für Genius-Ergebnisse für F&A verwendet wird, finden Sie unter Genius-Ergebnisse für F&A.

    KI-Suche berechnet die Auswertungsergebnisse für A/B-Tests jede Nacht.

    Das Framework zur Bewertung von Suchabfrageparametern ist Teil der Adaptive Telemetry-Funktionssuite.

    Tabellen des Frameworks für die Bewertung von Suchabfrageparametern

    Das Framework zur Bewertung von Suchabfrageparametern für KI-Suche verwendet Tabellen zum Speichern von Ergebnissen und Metriken aus A/B-Tests von Live-Suchdatenverkehr. KI-Suche verwendet die gespeicherten Daten, um zu bestimmen, welches Relevanzmodell und welches F&A-Genius-Ergebnisantwortvalidierungsmodell für eine Suchanwendung veröffentlicht werden soll.

    Tabelle für A/B-Testauswertung

    In der Tabelle „A/B-Testauswertung“ [evaluation] werden Details für A/B-Testauswertungen gespeichert, die für den Live-Suchdatenverkehr durchgeführt wurden.
    Hinweis:
    Das System bereinigt diese Tabelle automatisch und entfernt Datensätze für inaktive Auswertungen, die älter als zwei Jahre sind.
    Tabelle : 1. Auswertung
    Spalte Beschreibung
    Nummer Automatisch generierte Nummer zur Identifizierung der Bewertung.
    Name Name und Beschreibung für die Auswertung.
    Quelle Name der Tabelle, die Datensätze enthält, für die die Auswertung ausgeführt werden soll.
    Testumfang Umfang der Auswertung.
    • Unterstützte Werte:
      • ALL: Führt die Auswertung für alle Datensätze in der durch die Quelleangegebenen Tabelle aus.
      • SELECTED: Führt die Auswertung nur für Datensätze aus, die im Feldwert „ Ausgewählte Artefakte “ angegeben sind.
    • Standardwert: ALL
    Artefaktanbieter

    Liste der Artefaktfilterklassen, die Datensätze für Tests bereitstellen.
    Ausgewählte Artefakte Kommagetrennte Liste der sys_id-Werte des Datensatzes. Wenn der Testumfang auf SELECTEDfestgelegt ist, wird die Auswertung nur für Datensätze mit in dieser Liste angegebenen sys_id-Werten ausgeführt.
    Mindestanzahl Signale für Auswertung
    Mindestanzahl von Suchsignalen, die die Auswertung vor dem Beenden sammeln soll.
    • Typ: Ganzzahl
    • Standardwert: 0 (kein Mindestwert)
    • Höchstwert: 30000

    Einzelheiten zur Interaktion dieser Bedingung mit der Bedingung Mindestanzahl Tage für Auswertung finden Sie unter Endkriterienoperator.
    Mindestanzahl Tage für Auswertung
    Mindestanzahl von Tagen, die die Auswertung aktiv sein soll, bevor sie beendet wird.
    • Typ: Ganzzahl
    • Standardwert: 0 (kein Mindestwert)
    • Höchstwert: 180

    Einzelheiten zur Interaktion dieser Bedingung mit der Bedingung Mindestanzahl Signale für Auswertung finden Sie unter Endkriterienoperator.
    Operator für Endkriterien Logischer Operator, der für Auswertungsendbedingungen verwendet werden soll, wenn die Bedingungen „ Mindestanzahl Signale für Auswertung“ und „Mindestanzahl Tage für Auswertung “ vorhanden sind.
    • Unterstützte Werte:
      • AND: Die Auswertung bleibt aktiv, bis die Bedingungen Mindestanzahl Signale für Auswertung und Mindestanzahl Tage für Auswertung erfüllt sind.
      • OR: Die Auswertung bleibt aktiv, bis eine der Bedingungen Mindestanzahl Signale für Auswertung oder Mindestanzahl Tage für Auswertung erfüllt ist.
    • Standardwert: OR

    Tabelle mit der Ausführung der A/B-Testauswertung

    In der Tabelle „Ausführung der A/B-Testauswertung“ [evaluation_execution] werden Details zu den einzelnen Vorgängen gespeichert, die im Rahmen von A/B-Testauswertungen für den Live-Suchdatenverkehr ausgeführt werden.

    Tabelle : 2. „evaluation_execution“
    Spalte Beschreibung
    Nummer Automatisch generierte Nummer zur Identifizierung des Bewertungsvorgangs.
    Bewertung Verweis auf den Datensatz für die Auswertung in der Tabelle „A/B-Testauswertung“ [evaluation].
    Artefakt-ID Sys_id für den von diesem Auswertungsvorgang analysierten Datensatz.
    Status Status für die Ausführung der Datensatzauswertung.
    • Unterstützte Werte:
      • Queued: Der Auswertungsvorgang wird zur Ausführung in die Warteschlange gestellt.
      • In Progress: Der Auswertungsvorgang wird ausgeführt.
      • Scoring: Der Bewertungsvorgang befindet sich in der Bewertungsphase.
      • Complete: Der Evaluierungsvorgang wurde erfolgreich abgeschlossen.
      • Errored: Der Auswertungsvorgang ist mit einem Fehler fehlgeschlagen.
      • Canceled: Der Bewertungsvorgang wurde vom System abgebrochen.
      • Suspended: Der Auswertungsvorgang wurde vom System angehalten.
    • Standardwert: Queued
    Startdatum Datum und Uhrzeit des Starts des Auswertungsvorgangs.
    Enddatum Datum und Uhrzeit des Endes des Auswertungsvorgangs.

    Tabelle mit Parametern für A/B-Testauswertung

    In der Tabelle „A/B-Testauswertungsparameter“ [evaluation_parameter] werden Details zu einzelnen Suchabfrageparametern gespeichert, die in A/B-Testauswertungen für Live-Suchdatenverkehr berücksichtigt werden.

    Tabelle : 3. „evaluation_parameter“
    Spalte Beschreibung
    Bewertung Verweis auf den Datensatz für die Auswertung in der Tabelle „A/B-Testauswertung“ [evaluation].
    Name Name und Beschreibung für den Bewertungsparameter.
    Zugewiesenen Parameter des Artefakts verwenden
    • Typ: Boolesch
    • Unterstützte Werte:
      • true: Vergleicht den angegebenen Wert Parameter Values mit dem aktuell zugewiesenen Wert des Suchabfrageparameters im bereitgestellten Artefakt.
      • false: Angegebener Wert Parameter Values wird nicht mit dem aktuell zugewiesenen Wert des Suchabfrageparameters im bereitgestellten Artefakt verglichen
    • Standardwert: true
    Parameterwerte Prozentsatz des Datenverkehrs Prozentsatz der Suchabfragen, auf die der angegebene Parameter Values während der A/B-Bewertung angewendet werden soll.
    • Typ: Ganzzahl
    • Standardwert: 0
    • Höchstwert: 100
    Parameterwerte JSON-Liste der Werte, die mit dem aktuellen Wert des Suchabfrageparameters verglichen werden sollen, wenn Use Artifact's Assigned Parameter „ wahr“ ist.
    Parametertyp

    Typ für den Suchabfrageparameter. Der ausgewählte Wert bestimmt, wie Parameter Values während und nach einer A/B-Bewertung verwendet werden.

    Unterstützte Werte:
    • Search Context Parameters: Führt die Kontextparameter des Suchprofils mit Parameter Values für Suchabfrageanforderungen zusammen und überschreibt sie. Wenn die Auswertung endet, verwenden Sie den mit der Siegerpunktzahl festgelegten Wert des Suchabfrage-Kontextparameters, um die relevanten Suchprofil-Kontextparameter zu überschreiben oder zusammenzuführen.
    • Search QnA Genius Result Configuration: Parameter Values auf Genius-Ergebniskonfigurationen für F&A anwenden, die in Suchabfrageanforderungen verwendet werden. Wenn die Auswertung endet, aktualisieren Sie das relevante Suchprofil so, dass der Wert des Konfigurationsparameters „Genius-Ergebnis“ mit der Siegerpunktzahl aufgenommen wird.
    • Search QnA Model: Parameter Values auf Genius-Ergebnismodelle für F&A anwenden, die in Suchabfrageanforderungen verwendet werden. Wenn die Auswertung endet, aktualisieren Sie das relevante Suchprofil so, dass der Parameterwert des F&A Genius-Ergebnismodells mit der Siegerpunktzahl aufgenommen wird.
    • Search Relevancy Model: Wenden Sie die Parameter Values als Suchrelevanzmodelle an, die in Suchabfrageanforderungen verwendet werden sollen. Wenn die Auswertung endet, aktualisieren Sie das relevante Suchprofil, um den Wert des Relevanzmodellparameters mit der Siegerpunktzahl aufzunehmen.
    • Search REST Parameters: Führt die Abfrageparameter des Suchprofils mit Parameter Values für Suchabfrageanforderungen zusammen und überschreibt sie. Wenn die Auswertung endet, verwenden Sie den mit der Siegerpunktzahl festgelegten Wert des Suchabfrageparameters, um die relevanten Suchprofilparameter zu überschreiben oder zusammenzuführen.
    Berechnungstyp für Punktzahl

    Form der Berechnung, die zum Berechnen der Punktzahlen des Suchparameterwerts und zum Finden des besten Werts verwendet wird.

    Unterstützte Werte:
    • Average Click Position: Der beste Wert des Suchabfrageparameters ist der mit der niedrigsten durchschnittlichen Klickpositionspunktzahl.
      Hinweis:
      KI-Suche berechnet die durchschnittliche Klickpositionspunktzahl, indem die Summe aller ausgewählten Suchergebnisseränge durch die Anzahl der Suchvorgänge geteilt wird. Das am höchsten bewertete Suchergebnis hat Rang 1, das zweithöchste den Rang 2 usw. Wenn Sie beispielsweise zwei Suchen durchführen und in einem Fall das erste Ergebnis und im anderen Fall das zweite Ergebnis auswählen, beträgt Ihre durchschnittliche Klickpositionspunktzahl (1 + 2) / 2 = 1,5.
    • Genius Result Helpfulness: Der beste Wert des Suchabfrageparameters ist der mit der höchsten Punktzahl für Nützlichkeit. Diese Berechnung berücksichtigt, ob in Ihren Suchergebnissen eine relevante Genius-Ergebnisantwort angezeigt wurde.
      Hinweis:
      Die Punktzahl für die Nützlichkeit ist eine Metrik, die angibt, ob die Antworten aus dem Genius-Ergebnis im Kontext Ihrer Suche hilfreich waren.
    • Helpfulness: Der beste Wert des Suchabfrageparameters ist der mit der höchsten Punktzahl für Nützlichkeit. Im Gegensatz zu Genius Result Helpfulnessberücksichtigt diese Berechnung nicht, ob eine relevante Genius-Ergebnisantwort in Ihren Suchergebnissen angezeigt wurde.
    Signalanbieter Der Anbieter für Suchsignale, die zum Bewerten des Suchabfrageparameters erforderlich sind. Search Event Signal Provider ist der einzige unterstützte Wert.

    Ergebnistabelle des Parameters für A/B-Testauswertung

    In der Tabelle „A/B-Testauswertungsparameterergebnis“ [evaluation_parameter_result] werden Berechnungsergebnisse für einzelne Suchabfrageparameter gespeichert, die in A/B-Testauswertungen für den Live-Suchdatenverkehr berücksichtigt werden.

    Tabelle : 4. „evaluation_parameter_result“
    Spalte Beschreibung
    Auswertungsausführung Verweis auf den Datensatz für die Ausführung der Auswertung in der Tabelle „Ausführung der A/B-Testauswertung“ [evaluation_execution].
    Parameterauswertung Verweis auf den Datensatz für den Suchabfrageparameter in der Tabelle mit den Parametern für die A/B-Testauswertung [evaluation_parameter].
    Bester Wert Bester Wert für den Suchabfrageparameter, wie durch Winning Scorebestimmt.
    Punktzahl für Erfolg Numerische Punktzahl für den Suchabfrageparameter, bestimmt mit Score Calculation Type.
    Punktzahlmetadaten Metadaten aus der Punktzahlberechnung für den Suchabfrageparameter.

    Schließen Sie ein Suchprofil aus dem Bewertungs-Framework für Suchabfrageparameter aus

    Schließen Sie ein Suchprofil aus A/B-Testauswertungen von Live-Datenverkehr KI-Suche aus. Dieses Verfahren verhindert, dass KI-Suche bei der Veröffentlichung des Relevanzmodells für Suchergebnisse und des Validierungsmodells für F&A-Genius-Ergebnisantworten A/B-Testauswertungen verwendet.

    Vorbereitungen

    Erforderliche Rolle: ais_admin

    Warum und wann dieser Vorgang ausgeführt wird

    Das Bewertungs-Framework für Suchabfrageparameter führt A/B-Testbewertungen von Suchkonfigurationseinstellungen mithilfe des Live-Suchdatenverkehrs durch. Standardmäßig wertet KI-Suche die Konfigurationseinstellungen für alle Suchprofile aus.

    Suchadministratoren können einzelne Suchprofile aus dem Bewertungs-Framework für Suchabfrageparameter ausschließen. Das Ausschließen eines Suchprofils aus dem Framework verhindert, dass KI-Suche A/B-Testauswertungen für Live-Suchdatenverkehr durchführt, der das ausgeschlossene Suchprofil verwendet.
    Hinweis:
    Wenn Sie ein Suchprofil von Auswertungen ausschließen, berücksichtigt KI-Suche bei der Aktualisierung der Relevanz für maschinelles Lernen und der MRC-Modelle (maschinelles Leseverstehen) für dieses Suchprofil keine Auswertungsergebnisse mehr. Daher können die Einstellungen für die Relevanzbewertung und die Filtereinstellungen für Genius-Ergebnisantworten für F&A für das Suchprofil Ihren Suchverkehr weniger reflektieren. Weitere Informationen dazu, wie KI-Suche bei der Veröffentlichung dieser Modelle Testergebnisse der A/B-Bewertung verwendet, finden Sie unter Relevanz von maschinellem Lernen in KI-Suche und Genius-Ergebnisse für F&A.

    Prozedur

    1. Navigieren zu Alle > KI-Suche > Experience durchsuchen > Suchprofilean.
    2. Öffnen Sie den Datensatz für das Suchprofil, das Sie von A/B-Testauswertungen des Live-Suchdatenverkehrs ausschließen möchten.
    3. Wenn das Formular „Suchprofil“ das Feld Aus Auswertung ausschließen noch nicht anzeigt, konfigurieren Sie das Formularlayout so, dass das Feld sichtbar ist.
      Einzelheiten zum Konfigurieren eines Formularlayouts, um Felder sichtbar zu machen, finden Sie unter Formularlayout konfigurieren.
    4. Wählen Sie die Option Von Auswertung ausschließen aus.
    5. Wählen Sie Aktualisieren.

    Ergebnisse

    KI-Suche führt keine A/B-Testauswertungen mehr für Datenverkehr durch, der das ausgeschlossene Suchprofil verwendet. Die Relevanz für maschinelles Lernen aktualisiert das Relevanzmodell für das Suchprofil nicht mehr.