Estrutura de avaliação do parâmetro de consulta de pesquisa

  • Versão de lançamento: Xanadu
  • Atualizado 1 de ago. de 2024
  • 10 min. de leitura

    • Pesquisa com IA executa avaliações de teste A/B que comparam a relevância do resultado para conjuntos alternativos de valores de parâmetro de consulta de pesquisa. Essas avaliações determinam os modelos que Pesquisa com IA usa para relevância de aprendizado de máquina e para resultados de perguntas e respostas do Genius.

    A estrutura de avaliação do parâmetro de consulta de pesquisa permite o teste de relevância A/B no tráfego de pesquisa em tempo real. Pesquisa com IA considera os resultados deste teste em tempo real junto com sua avaliação off-line de dados de sinal de pesquisa agregados ao fazer as seguintes determinações:
    • Determinar qual modelo de relevância publicar para um perfil de pesquisa. Para obter detalhes sobre a geração e publicação de modelos de relevância, consulte Relevância do aprendizado de máquina no Pesquisa com IA.
    • Determinar qual modelo de compreensão de leitura de máquina (MRC) usar ao validar possíveis respostas do resultado das perguntas e respostas do Genius. Para obter mais informações sobre o modelo de MRC usado para resultados das perguntas e respostas do Genius, consulte Resultados das perguntas e respostas do Genius.

    Pesquisa com IA calcula os resultados da avaliação de teste A/B todas as noites.

    A estrutura de avaliação do parâmetro de consulta de pesquisa faz parte do pacote de recursos de Telemetria adaptável.

    Tabelas da estrutura de avaliação do parâmetro de consulta de pesquisa

    A estrutura de avaliação do parâmetro de consulta de pesquisa para Pesquisa com IA usa tabelas para armazenar resultados e métricas de testes A/B de tráfego de pesquisa em tempo real. Pesquisa com IA usa os dados armazenados ao determinar qual modelo de relevância e modelo de validação de resposta do resultado das perguntas e respostas do Genius serão publicados para uma aplicação de pesquisa.

    Tabela de avaliação de teste A/B

    A tabela Avaliação de teste A/B [evaluation] armazena detalhes das avaliações de teste A/B realizadas no tráfego de pesquisa em tempo real.
    Nota:
    O sistema limpa automaticamente esta tabela, removendo registros de avaliações inativas com mais de dois anos.
    Tabela 1. avaliação
    Coluna Descrição
    Número Número gerado automaticamente para identificar a avaliação.
    Nome Nome e descrição da avaliação.
    Origem Nome da tabela que contém os registros para os quais a avaliação será executada.
    Escopo de teste Escopo da avaliação.
    • Valores compatíveis:
      • ALL: executa a avaliação em todos os registros na tabela especificada por Source.
      • SELECTED: executa a avaliação somente em relação aos registros especificados no valor do campo Artefatos selecionados.
    • Valor padrão: ALL
    Provedor de artefato

    Lista de classes de filtragem de artefatos que fornecem registros para teste.
    Artefatos selecionados Lista separada por vírgulas de valores de sys_id de registro. Quando o escopo de teste estiver definido como SELECTED, a avaliação será executada somente em registros com valores de sys_id especificados nesta lista.
    Sinais mínimos para avaliação
    Número mínimo de sinais de pesquisa que a avaliação deve coletar antes de terminar.
    • Tipo: inteiro
    • Valor padrão: 0 (sem mínimo)
    • Valor máximo: 30000

    Para obter detalhes sobre como essa condição interage com a condição Mínimo de dias para avaliação, consulte Operador de critérios finais.
    Dias mínimos para avaliação
    Número mínimo de dias em que a avaliação deve estar ativa antes de terminar.
    • Tipo: inteiro
    • Valor padrão: 0 (sem mínimo)
    • Valor máximo: 180

    Para obter detalhes sobre como essa condição interage com a condição Sinais mínimos para avaliação, consulte Operador de critérios finais.
    Operador de critérios finais Operador lógico a ser usado para condições de término de avaliação quando as condições Sinais mínimos para avaliação e Dias mínimos para avaliação existirem.
    • Valores compatíveis:
      • AND: a avaliação permanece ativa até que as condições Sinais mínimos para avaliação e Dias mínimos para avaliação sejam atendidas.
      • OR: a avaliação permanece ativa até que as condições Sinais mínimos para avaliação ou Mínimo de dias para avaliação sejam atendidas.
    • Valor padrão: OR

    Tabela de execução de avaliação de teste A/B

    A tabela Execução de avaliação de teste A/B [evaluation_execution] armazena detalhes de operações individuais executadas como parte das avaliações de teste A/B para tráfego de pesquisa em tempo real.

    Tabela 2. avaliação_execução
    Coluna Descrição
    Número Número gerado automaticamente para identificar a operação de avaliação.
    Avaliação Referência ao registro da avaliação na tabela Avaliação de teste A/B [evaluation].
    ID do Artefato Sys_id do registro analisado por esta operação de avaliação.
    Estado Estado da execução da avaliação do registro.
    • Valores compatíveis:
      • Queued: a operação de avaliação está na fila para execução.
      • In Progress: a operação de avaliação está em andamento.
      • Scoring: a operação de avaliação está na fase de pontuação.
      • Complete: a operação de avaliação foi concluída com sucesso.
      • Errored: a operação de avaliação falhou com um erro.
      • Canceled: a operação de avaliação foi cancelada pelo sistema.
      • Suspended: a operação de avaliação foi suspensa pelo sistema.
    • Valor padrão: Queued
    Data de início Data e hora em que a operação de avaliação foi iniciada.
    Data de término Data e hora em que a operação de avaliação foi encerrada.

    Tabela de parâmetros de avaliação de teste A/B

    A tabela Parâmetro de avaliação de teste A/B [evaluation_parameter] armazena detalhes dos parâmetros de consulta de pesquisa individuais considerados nas avaliações de teste A/B para tráfego de pesquisa em tempo real.

    Tabela 3. avaliação_parâmetro
    Coluna Descrição
    Avaliação Referência ao registro da avaliação na tabela Avaliação de teste A/B [evaluation].
    Nome Nome e descrição do parâmetro de avaliação.
    Usar parâmetro atribuído ao artefato
    • Tipo: booleano
    • Valores compatíveis:
      • true: compara o Parameter Values especificado com o valor do parâmetro de consulta de pesquisa atribuído no momento no artefato fornecido.
      • false: não compara o Parameter Values especificado com o valor do parâmetro de consulta de pesquisa atribuído atualmente no artefato fornecido
    • Valor padrão: true
    Percentual de tráfego dos valores de parâmetro Porcentagem de consultas de pesquisa às quais o Parameter Values especificado será aplicado durante a avaliação A/B.
    • Tipo: inteiro
    • Valor padrão: 0
    • Valor máximo: 100
    Valores do parâmetro Lista JSON de valores a serem comparados com o valor do parâmetro de consulta de pesquisa atual quando Use Artifact's Assigned Parameter for verdadeiro.
    Tipo de Parâmetro

    Tipo para o parâmetro de consulta de pesquisa. O valor selecionado determina como Parameter Values são usados durante e após uma avaliação A/B.

    Valores compatíveis:
    • Search Context Parameters: mescla e substitui os parâmetros de contexto do perfil de pesquisa pelo Parameter Values para solicitações de consulta de pesquisa. Quando a avaliação terminar, use o valor do parâmetro de contexto de consulta de pesquisa definido com a pontuação vencedora para substituir ou mesclar os parâmetros de contexto de perfil de pesquisa relevantes.
    • Search QnA Genius Result Configuration: aplique o Parameter Values às configurações do resultado das perguntas e respostas do Genius usadas em solicitações de consulta de pesquisa. Quando a avaliação terminar, atualize o perfil de pesquisa relevante para incluir o valor do parâmetro de configuração de resultado do Genius com a pontuação vencedora.
    • Search QnA Model: aplique o Parameter Values aos modelos de resultado do Genius de perguntas e respostas usados em solicitações de consulta de pesquisa. Quando a avaliação terminar, atualize o perfil de pesquisa relevante para incluir o valor do parâmetro do modelo de resultado das perguntas e respostas do Genius com a pontuação vencedora.
    • Search Relevancy Model: aplique o Parameter Values como modelos de relevância de pesquisa a serem usados em solicitações de consulta de pesquisa. Quando a avaliação terminar, atualize o perfil de pesquisa relevante para incluir o valor do parâmetro do modelo de relevância com a pontuação vencedora.
    • Search REST Parameters: mescla e substitui os parâmetros de consulta de perfil de pesquisa pelo Parameter Values para solicitações de consulta de pesquisa. Quando a avaliação terminar, use o valor do parâmetro de consulta de pesquisa definido com a pontuação vencedora para substituir ou mesclar os parâmetros de perfil de pesquisa relevantes.
    Tipo de cálculo de pontuação

    Forma de cálculo usada para calcular pontuações de valor do parâmetro de consulta de pesquisa e encontrar o melhor valor.

    Valores compatíveis:
    • Average Click Position: o melhor valor de parâmetro de consulta de pesquisa é aquele com a pontuação média de posição de clique mais baixa.
      Nota:
      Pesquisa com IA O calcula a pontuação média da posição do clique dividindo a soma de todas as classificações de resultado de pesquisa selecionadas pelo número de pesquisas. O resultado da pesquisa com classificação mais alta tem classificação 1, o próximo mais alto tem classificação 2 e assim por diante. Por exemplo, se você executar duas pesquisas, selecionando o primeiro resultado em um caso e o segundo resultado no outro, sua pontuação média de posição de clique será (1 + 2) / 2 = 1,5.
    • Genius Result Helpfulness: o melhor valor de parâmetro de consulta de pesquisa é aquele com a pontuação de utilidade mais alta. Este cálculo leva em conta se uma resposta relevante de resultado do Genius apareceu nos resultados da pesquisa.
      Nota:
      A pontuação de utilidade é uma métrica que indica se as respostas do resultado do Genius foram úteis no contexto da sua pesquisa.
    • Helpfulness: o melhor valor de parâmetro de consulta de pesquisa é aquele com a pontuação de utilidade mais alta. Ao contrário de Genius Result Helpfulness, este cálculo não leva em conta se uma resposta relevante de resultado do Genius apareceu nos resultados da pesquisa.
    Provedor de sinais O provedor de sinais de pesquisa necessários para pontuar o parâmetro de consulta de pesquisa. Search Event Signal Provider é o único valor compatível.

    Tabela de resultados do parâmetro de avaliação de teste A/B

    A tabela Resultado do parâmetro de avaliação de teste A/B [evaluation_parameter_result] armazena resultados de cálculo para parâmetros de consulta de pesquisa individuais considerados nas avaliações de teste A/B para tráfego de pesquisa em tempo real.

    Tabela 4. avaliação_parâmetro_resultado
    Coluna Descrição
    Execução da avaliação Referência ao registro da execução da avaliação na tabela Execução de avaliação de teste A/B [evaluation_execution].
    Avaliação de Parâmetro Referência ao registro do parâmetro de consulta de pesquisa na tabela Parâmetro de avaliação de teste A/B [evaluation_parameter].
    Melhor valor Melhor valor para o parâmetro de consulta de pesquisa, conforme determinado pelo Winning Score.
    Pontuação vencedora Pontuação numérica para o parâmetro de consulta de pesquisa, determinada usando o Score Calculation Type.
    Metadados de pontuação Metadados do cálculo de pontuação para o parâmetro de consulta de pesquisa.

    Excluir um perfil de pesquisa da estrutura de avaliação do parâmetro de consulta de pesquisa

    Exclua um perfil de pesquisa das avaliações de teste A/B de tráfego em tempo real Pesquisa com IA. Este procedimento evita que Pesquisa com IA use os resultados da avaliação de teste A/B ao publicar o modelo de relevância do resultado de pesquisa do perfil de pesquisa e seu modelo de validação de resposta do resultado das perguntas e respostas do Genius.

    Antes de Iniciar

    Função necessária: ais_admin

    Por Que e Quando Desempenhar Esta Tarefa

    A estrutura de avaliação do parâmetro de consulta de pesquisa executa avaliações de teste A/B das definições de configuração de pesquisa usando o tráfego de pesquisa em tempo real. Por padrão, Pesquisa com IA avalia as definições de configuração para todos os perfis de pesquisa.

    Os administradores de pesquisa podem excluir perfis de pesquisa individuais da estrutura de avaliação do parâmetro de consulta de pesquisa. A exclusão de um perfil de pesquisa da estrutura evita que Pesquisa com IA execute avaliações de teste A/B para o tráfego de pesquisa em tempo real que usa o perfil de pesquisa excluído.
    Nota:
    Quando você exclui um perfil de pesquisa das avaliações, Pesquisa com IA não considera mais os resultados da avaliação ao atualizar a relevância do aprendizado de máquina e os modelos de compreensão de leitura de máquina (MRC) para esse perfil de pesquisa. Como resultado, as configurações de pontuação de relevância e as configurações de filtragem de resposta do resultado das perguntas e respostas do Genius para o perfil de pesquisa podem refletir menos o tráfego de pesquisa. Para obter mais informações sobre como Pesquisa com IA usa os resultados de testes de avaliação A/B ao publicar esses modelos, consulte Relevância do aprendizado de máquina no Pesquisa com IA e Resultados das perguntas e respostas do Genius.

    Procedimento

    1. Navegar até Todos > Pesquisa com IA > Experiência de pesquisa > Perfis de pesquisa.
    2. Abra o registro do perfil de pesquisa que você deseja excluir das avaliações de teste A/B do tráfego de pesquisa em tempo real.
    3. Se o formulário Perfil de pesquisa ainda não exibir o campo Excluir da avaliação, configure o layout do formulário para tornar o campo visível.
      Para obter detalhes sobre como configurar um layout de formulário para tornar os campos visíveis, consulte Configuração do layout do formulário.
    4. Selecione a opção Excluir da avaliação.
    5. Selecione Atualizar.

    Resultado

    Pesquisa com IA não executa mais avaliações de teste A/B para o tráfego que usa o perfil de pesquisa excluído. A relevância do aprendizado de máquina não atualiza mais o modelo de relevância do perfil de pesquisa.