Utilisez la synthèse récursive pour décomposer les demandes adressées aux grands modèles de langage (LLM) en petits éléments afin de maintenir le contexte des options de l’IA générative.
Avant de commencer
Rôle requis : admin
Pourquoi et quand exécuter cette tâche
Les LLM disposent d’un nombre maximum de jetons qui peuvent être traités en une seule demande. Certains champs, tels que les champs d’activité, peuvent contenir plus d’informations que ne peuvent en contenir ces restrictions. La synthèse récursive divise les informations fournies à un LLM en blocs, résume chaque bloc individuellement, puis traite la demande d’origine avec les blocs résumés. Les morceaux sont organisés avec des chevauchements entre les pièces afin que le contexte soit conservé dans chaque pièce.
Remarque : L’activation de la synthèse récursive peut entraîner le ralentissement du traitement des entrées volumineuses par les aptitudes, car elles doivent effectuer plusieurs appels au LLM au lieu d’un seul appel.
Procédure
-
Dans le filtre du navigateur, accédez à la liste des options OneExtend en saisissant sys_one_extend_capability.list.
-
Ouvrez l’enregistrement de l’option OneExtend que vous souhaitez modifier.
-
Dans la liste connexe Configuration de définition OneExtend, définissez Activer la prise en charge des entrées volumineuses sur vrai pour la définition OneExtend pour laquelle vous souhaitez activer la synthèse récursive.
-
Dans la liste connexe des attributs de l’aptitude OneExtend, définissez Contient une entrée volumineuse sur vrai pour les champs dans lesquels vous souhaitez ajouter une synthèse récursive.
Les champs les plus susceptibles de contenir une grande quantité de données, tels qu’un champ d’activités, doivent avoir leur valeur définie sur vrai. Vous pouvez également cocher la case Contient une entrée volumineuse sur l’enregistrement de l’attribut de l’aptitude OneExtend et enregistrer l’enregistrement pour définir la valeur sur vrai.
Résultats
La synthèse récursive est activée pour l’aptitude OneExtend pour les champs spécifiés dans cette procédure.