Use o resumo recursivo para dividir as solicitações de modelos de linguagem grandes (LLMs) em partes menores para que você possa manter o contexto das capacidades de IA generativa.
Antes de Iniciar
Função necessária: administrador
Por Que e Quando Desempenhar Esta Tarefa
Os LLMs têm um número máximo de tokens que podem ser processados em uma única solicitação. Certos campos, como campos de atividade, podem ter mais informações do que podem caber nessas restrições. O resumo recursivo divide as informações fornecidas a um LLM em partes, resume cada parte individualmente e, em seguida, processa a solicitação original com as partes resumidas. Os blocos são organizados com sobreposições entre as partes para que o contexto seja retido em todas as partes.
Nota: Habilitar o resumo recursivo pode fazer com que os recursos processem entradas grandes mais lentamente porque eles devem fazer várias chamadas para o LLM em vez de apenas uma chamada.
Procedimento
-
No filtro do navegador, acesse a lista Capacidade do OneExtend inserindo sys_one_extend_capability.list.
-
Abra o registro da capacidade do OneExtend que você deseja mudar.
-
Na lista relacionada Configuração de definição do OneExtend, defina Habilitar suporte de entrada grande como verdadeiro para a Definição do OneExtend para a qual você deseja habilitar o resumo recursivo.
-
Na lista relacionada Atributos de capacidade do OneExtend, defina Contém entrada grande como verdadeiro para os campos aos quais você deseja adicionar o resumo recursivo.
Os campos com maior probabilidade de conter uma grande quantidade de dados, como um campo de atividades, devem ter seus valores definidos como verdadeiros. Você também pode marcar a caixa de seleção Contém entrada grande no registro de Atributo de capacidade do OneExtend e salvar o registro para definir o valor como verdadeiro.
Resultado
O resumo recursivo está habilitado para a capacidade do OneExtend para os campos especificados neste procedimento.