大きな入力の再帰的な要約を有効にする
再帰要約を使用して、大規模言語モデル (LLM) への要求をより小さな断片に分割し、生成 AI 機能のコンテキストを維持できるようにします。
始める前に
必要なロール:admin
このタスクについて
LLM には、1 回の要求で処理できるトークンの最大数があります。アクティビティフィールドなどの特定のフィールドには、これらの制限内に収まらないほど多くの情報が含まれている可能性があります。再帰要約では、LLM に与えられた情報をチャンクに分割し、各チャンクを個別に要約してから、要約されたチャンクを使用して元の要求を処理します。チャンクは、すべてのピースにわたってコンテキストが保持されるように、ピース間の重複によって編成されます。
注:
再帰的な要約を有効にすると、LLM に対して 1 回の呼び出しだけでなく複数の呼び出しを行う必要があるため、機能での大きな入力の処理が遅くなる可能性があります。
手順
タスクの結果
この手順で指定されたフィールドの OneExtend 機能で再帰要約が有効になります。