Bewertungs-Framework für Suchabfrageparameter

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 7 Minuten Lesedauer

    • KI-Suche führt A/B-Testauswertungen durch, die die Ergebnisrelevanz für alternative Sätze von Suchabfrageparameterwerten vergleichen. Diese Auswertungen bestimmen die Modelle, die KI-Suche für die Relevanz von maschinellem Lernen und für Q&A Genius-Ergebnisse verwendet.

    Das Bewertungs-Framework für Suchabfrageparameter ermöglicht A/B-Relevanztests für den Live-Suchdatenverkehr. KI-Suche berücksichtigt die Ergebnisse dieser Live-Tests zusammen mit der Offline-Auswertung der aggregierten Suchsignaldaten, wenn die folgenden Entscheidungen getroffen werden:
    • Bestimmen, welches Relevanzmodell für ein Suchprofil veröffentlicht werden soll. Weitere Informationen zur Generierung und Veröffentlichung von Relevanzmodellen finden Sie unter Relevanz von maschinellem Lernen in KI-Suche.
    • Bestimmen, welches MRC-Modell (maschinelles Leseverständnis) bei der Validierung potenzieller Q&A Genius-Ergebnisantworten verwendet werden soll. Weitere Informationen zum MRC-Modell, das für Q&A Genius-Ergebnisse verwendet wird, finden Sie unter Q&A Genius-Ergebnisse.

    KI-Suche berechnet die Ergebnisse der A/B-Testauswertung jede Nacht.

    Das Bewertungs-Framework für Suchabfrageparameter ist Teil der Adaptive Telemetry-Suite mit Funktionen.

    Framework-Tabellen für Abfrageparameter durchsuchen

    Das Bewertungs-Framework für Suchabfrageparameter für KI-Suche verwendet Tabellen zum Speichern von Ergebnissen und Metriken aus A/B-Tests des Live-Suchdatenverkehrs. KI-Suche verwendet die gespeicherten Daten, um zu bestimmen, welches Relevanzmodell und Q&A Genius-Ergebnis-Antwortvalidierungsmodell für eine Suchanwendung veröffentlicht werden soll.

    Tabelle „A/B-Testauswertung“.

    In der Tabelle „A/B-Testauswertung“ [evaluation] werden Details für A/B-Testauswertungen gespeichert, die für den Live-Suchdatenverkehr durchgeführt werden.
    Hinweis:
    Das System bereinigt diese Tabelle automatisch und entfernt Datensätze für inaktive Auswertungen, die älter als zwei Jahre sind.
    Tabelle : 1. Auswertung
    Spalte Beschreibung
    Nummer Automatisch generierte Nummer zur Identifizierung der Auswertung.
    Name Name und Beschreibung für die Auswertung.
    Quelle Name der Tabelle, die Datensätze enthält, für die die Auswertung ausgeführt werden soll.
    Testumfang Umfang der Evaluierung.
    • Unterstützte Werte:
      • ALL: Führen Sie die Auswertung für alle Datensätze in der durch Sourceangegebenen Tabelle aus.
      • SELECTED: Führt die Auswertung nur für Datensätze aus, die im Feldwert Ausgewählte Artefakte angegeben sind.
    • Standardwert: ALL
    Artefaktanbieter

    Liste der Artefaktfilterklassen, die Datensätze zum Testen bereitstellen.
    Ausgewählte Artefakte Kommagetrennte Liste der sys_id-Werte des Datensatzes. Wenn Testumfang auf SELECTEDfestgelegt ist, wird die Auswertung nur für Datensätze mit sys_id-Werten ausgeführt, die in dieser Liste angegeben sind.
    Mindestanzahl Signale für Auswertung
    Mindestanzahl von Suchsignalen, die die Auswertung vor dem Beenden sammeln soll.
    • Typ: Ganzzahl
    • Standardwert: 0 (kein Minimum)
    • Höchstwert: 30000

    Weitere Informationen zur Interaktion dieser Bedingung mit der Bedingung „ Mindestanzahl Tage für Auswertung “ finden Sie unter Endkriterienoperator.
    Mindestanzahl Tage für Auswertung
    Mindestanzahl von Tagen, für die die Evaluierung aktiv sein muss, bevor sie beendet wird.
    • Typ: Ganzzahl
    • Standardwert: 0 (kein Minimum)
    • Höchstwert: 180

    Weitere Informationen zur Interaktion dieser Bedingung mit der Bedingung „ Mindestanzahl Signale für Auswertung “ finden Sie unter Endkriterienoperator.
    Operator für Endkriterien Logischer Operator zur Verwendung für Evaluierungsendbedingungen, wenn die Bedingungen „ Mindestanzahl Signale für Evaluierung“ und „Mindestanzahl Tage für Evaluierung “ vorhanden sind.
    • Unterstützte Werte:
      • AND: Die Auswertung bleibt aktiv, bis die Bedingungen „ Mindestanzahl Signale für Auswertung “ und „ Mindestanzahl Tage für Auswertung “ erfüllt sind.
      • OR: Die Auswertung bleibt aktiv, bis eine der Bedingungen für „ Mindestanzahl Signale für Auswertung “ oder „ Mindestanzahl Tage für Auswertung “ erfüllt ist.
    • Standardwert: OR

    Tabelle „Ausführung der A/B-Testauswertung“.

    In der Tabelle „Ausführung der A/B-Testauswertung“ [evaluation_execution] werden Details zu einzelnen Vorgängen gespeichert, die im Rahmen von A/B-Testauswertungen für den Live-Suchdatenverkehr ausgeführt werden.

    Tabelle : 2. „evaluation_execution“
    Spalte Beschreibung
    Nummer Automatisch generierte Nummer zur Identifizierung des Bewertungsvorgangs.
    Bewertung Verweis auf den Datensatz für die Auswertung in der Tabelle „A/B-Testauswertung“ [evaluation].
    Artefakt-ID Sys_id für den von diesem Auswertungsvorgang analysierten Datensatz.
    Status Status für die Ausführung der Datensatzauswertung.
    • Unterstützte Werte:
      • Queued: Der Auswertungsvorgang wird zur Ausführung in die Warteschlange gestellt.
      • In Progress: Der Auswertungsvorgang wird ausgeführt.
      • Scoring: Der Bewertungsvorgang befindet sich in der Bewertungsphase.
      • Complete: Der Evaluierungsvorgang wurde erfolgreich abgeschlossen.
      • Errored: Der Auswertungsvorgang ist mit einem Fehler fehlgeschlagen.
      • Canceled: Der Auswertungsvorgang wurde vom System abgebrochen.
      • Suspended: Der Auswertungsvorgang wurde vom System angehalten.
    • Standardwert: Queued
    Startdatum Datum und Uhrzeit des Starts des Evaluierungsvorgangs.
    Enddatum Datum und Uhrzeit der Beendigung des Evaluierungsvorgangs.

    Tabelle „A/B-Testauswertungsparameter“.

    In der Tabelle „A/B-Testauswertungsparameter“ [evaluation_parameter] werden Details zu einzelnen Suchabfrageparametern gespeichert, die in A/B-Testauswertungen für Live-Suchdatenverkehr berücksichtigt werden.

    Tabelle : 3. „evaluation_parameter“
    Spalte Beschreibung
    Bewertung Verweis auf den Datensatz für die Auswertung in der Tabelle „A/B-Testauswertung“ [evaluation].
    Name Name und Beschreibung für den Bewertungsparameter.
    Zugewiesenen Parameter des Artefakts verwenden
    • Typ: Boolesch
    • Unterstützte Werte:
      • true: Vergleichen Sie das angegebene Parameter Values mit dem aktuell zugewiesenen Wert des Suchabfrageparameters für das bereitgestellte Artefakt.
      • false: Vergleichen Sie das angegebene Parameter Values nicht mit dem aktuell zugewiesenen Wert des Suchabfrageparameters für das bereitgestellte Artefakt
    • Standardwert: true
    Parameterwerte Prozentsatz des Datenverkehrs Prozentsatz der Suchabfragen, auf die der angegebene Parameter Values während der A/B-Auswertung angewendet werden soll.
    • Typ: Ganzzahl
    • Standardwert: 0
    • Höchstwert: 100
    Parameterwerte JSON-Liste von Werten, die mit dem aktuellen Wert des Suchabfrageparameters verglichen werden sollen, wenn Use Artifact's Assigned Parameter „ true“ ist.
    Parametertyp

    Typ für den Suchabfrageparameter. Der ausgewählte Wert bestimmt, wie Parameter Values während und nach einer A/B-Auswertung verwendet werden.

    Unterstützte Werte:
    • Search Context Parameters: Führt Suchprofil-Kontextparameter mit Parameter Values für Suchabfrageanforderungen zusammen und überschreibt sie. Wenn die Auswertung endet, verwenden Sie den Wert des Suchabfrage-Kontextparameters, der mit der Punktzahl festgelegt wurde, um die relevanten Suchprofil-Kontextparameter zu überschreiben oder zusammenzuführen.
    • Search QnA Genius Result Configuration: Wenden Sie Parameter Values auf Q&A Genius-Ergebniskonfigurationen an, die in Suchabfrageanforderungen verwendet werden. Wenn die Auswertung endet, aktualisieren Sie das relevante Suchprofil, um den Wert des Genius-Ergebniskonfigurationsparameters in die Punktzahl einzubeziehen.
    • Search QnA Model: Wenden Sie Parameter Values auf Q&A Genius-Ergebnismodelle an, die in Suchabfrageanforderungen verwendet werden. Wenn die Bewertung endet, aktualisieren Sie das relevante Suchprofil, um den Parameterwert des Q&A Genius-Ergebnismodells in die Punktzahl einzubeziehen.
    • Search Relevancy Model: Wenden Sie Parameter Values als Suchrelevanzmodelle zur Verwendung in Suchabfrageanforderungen an. Wenn die Bewertung endet, aktualisieren Sie das relevante Suchprofil, um den Parameterwert des Relevanzmodells in die erfolgreiche Punktzahl aufzunehmen.
    • Search REST Parameters: Führen Sie Suchprofil-Abfrageparameter mit Parameter Values für Suchabfrageanforderungen zusammen und überschreiben Sie sie. Wenn die Auswertung endet, verwenden Sie den Wert des Suchabfrageparameters, der mit der Punktzahl festgelegt wurde, um die relevanten Suchprofilparameter zu überschreiben oder zusammenzuführen.
    Berechnungstyp für Punktzahl

    Berechnungsform, die verwendet wird, um die Wertpunktzahlen des Suchabfrageparameters zu berechnen und den besten Wert zu finden.

    Unterstützte Werte:
    • Average Click Position: Der beste Suchabfrageparameterwert ist der mit der niedrigsten durchschnittlichen Klickpositionspunktzahl.
      Hinweis:
      KI-Suche berechnet die durchschnittliche Klickpositionspunktzahl, indem die Summe aller ausgewählten Suchergebnisse durch die Anzahl der Suchvorgänge geteilt wird. Das Suchergebnis mit dem höchsten Rang hat Rang 1, das zweithöchste Suchergebnis Rang 2 usw. Wenn Sie beispielsweise zwei Suchvorgänge durchführen und das erste Ergebnis in einem Fall und das zweite Ergebnis im anderen Fall auswählen, beträgt Ihre durchschnittliche Klickpositionspunktzahl (1 + 2) / 2 = 1,5.
    • Genius Result Helpfulness: Der beste Wert des Suchabfrageparameters ist der mit der höchsten Punktzahl für Nützlichkeit. Bei dieser Berechnung wird berücksichtigt, ob in Ihren Suchergebnissen eine relevante Genius-Ergebnisantwort angezeigt wurde.
      Hinweis:
      Die Nützlichkeitspunktzahl ist eine Metrik, die angibt, ob die Antworten in Genius-Ergebnissen im Kontext Ihrer Suche hilfreich waren.
    • Helpfulness: Der beste Wert des Suchabfrageparameters ist der mit der höchsten Punktzahl für Nützlichkeit. Im Gegensatz zu Genius Result Helpfulnesswird bei dieser Berechnung nicht berücksichtigt, ob eine relevante Genius-Ergebnisantwort in Ihren Suchergebnissen angezeigt wurde.
    Signalanbieter Der Anbieter für Suchsignale, die zum Bewerten des Suchabfrageparameters erforderlich sind. Search Event Signal Provider ist der einzige unterstützte Wert.

    Tabelle „A/B-Testauswertungsparameter-Ergebnis“.

    In der Tabelle „Parameterergebnis der A/B-Testauswertung“ [evaluation_parameter_result] werden Berechnungsergebnisse für einzelne Suchabfrageparameter gespeichert, die in A/B-Testauswertungen für den Live-Suchdatenverkehr berücksichtigt werden.

    Tabelle : 4. „evaluation_parameter_result“
    Spalte Beschreibung
    Auswertungsausführung Verweis auf den Datensatz für die Ausführung der Bewertung in der Tabelle „Ausführung der A/B-Testbewertung“ [evaluation_execution].
    Parameterauswertung Verweis auf den Datensatz für den Suchabfrageparameter in der Tabelle „A/B-Testauswertungsparameter“ [evaluation_parameter].
    Bester Wert Bester Wert für den Suchabfrageparameter, wie durch Winning Scorebestimmt.
    Punktzahl für Erfolg Numerische Punktzahl für den Suchabfrageparameter, bestimmt mit Score Calculation Type.
    Punktzahlmetadaten Metadaten aus der Punktzahlberechnung für den Suchabfrageparameter.

    Schließen Sie ein Suchprofil aus dem Bewertungs-Framework für Suchabfrageparameter aus

    Schließen Sie ein Suchprofil von A/B-Testauswertungen des Live-Datenverkehrs KI-Suche aus. Dieses Verfahren verhindert, dass KI-Suche A/B-Testauswertungsergebnisse verwendet, wenn das Suchergebnis-Relevanzmodell des Suchprofils und das Q&A Genius-Ergebnisantwort-Validierungsmodell veröffentlicht werden.

    Vorbereitungen

    Erforderliche Rolle: ais_admin

    Warum und wann dieser Vorgang ausgeführt wird

    Das Bewertungs-Framework für Suchabfrageparameter führt A/B-Testauswertungen von Suchkonfigurationseinstellungen unter Verwendung des Live-Suchdatenverkehrs durch. Standardmäßig wertet KI-Suche die Konfigurationseinstellungen für alle Suchprofile aus.

    Suchadministratoren können einzelne Suchprofile aus dem Bewertungs-Framework für Suchabfrageparameter ausschließen. Das Ausschließen eines Suchprofils aus dem Framework verhindert, dass KI-Suche A/B-Testauswertungen für Live-Suchdatenverkehr durchführt, der das ausgeschlossene Suchprofil verwendet.
    Hinweis:
    Wenn Sie ein Suchprofil von Auswertungen ausschließen, berücksichtigt KI-Suche die Auswertungsergebnisse nicht mehr, wenn die Relevanz für maschinelles Lernen und MRC-Modelle (maschinelles Leseverstehen) für dieses Suchprofil aktualisiert werden. Daher spiegeln die Einstellungen für Relevanzbewertung und die Antwortfiltereinstellungen für Q&A Genius-Ergebnisse für das Suchprofil Ihren Suchdatenverkehr möglicherweise weniger wider. Weitere Informationen dazu, wie KI-Suche die Testergebnisse der A/B-Bewertung bei der Veröffentlichung dieser Modelle verwendet, finden Sie unter Relevanz von maschinellem Lernen in KI-Suche und Q&A Genius-Ergebnisse.

    Prozedur

    1. Navigieren zu Alle > KI-Suche > Experience durchsuchen > Suchprofile.
    2. Öffnen Sie den Datensatz für das Suchprofil, das Sie von A/B-Testauswertungen des Live-Suchdatenverkehrs ausschließen möchten.
    3. Wenn im Formular „Suchprofil“ das Feld Aus Auswertung ausschließen noch nicht angezeigt wird, konfigurieren Sie das Formularlayout so, dass das Feld sichtbar ist.
      Weitere Informationen zum Konfigurieren eines Formularlayouts zum Sichtbarmachen von Feldern finden Sie unter Formularlayout konfigurieren.
    4. Wählen Sie die Option Aus Auswertung ausschließen aus.
    5. Wählen Sie Aktualisieren.

    Ergebnisse

    KI-Suche führt keine A/B-Testauswertungen mehr für Datenverkehr durch, der das ausgeschlossene Suchprofil verwendet. Die Relevanz für maschinelles Lernen aktualisiert das Relevanzmodell für das Suchprofil nicht mehr.