Azure OpenAI を使用している場合、モデル名はリソースのデプロイ名です。

API 認証情報をまだ構成していない場合は、「 汎用大規模言語モデルの API 認証情報の構成 」を参照してその方法を確認してください。

モデル構成は、外部モデルの API キーに関連付けられています。

たとえば、要約を作成機能を構成する場合は、[ 要約を作成 (カスタム LLM)] を選択します。

定義を選択すると、[モデル] フィールドがドロップダウンメニューに変わり、カスタム LLM プロバイダーを使用するオプションが表示されます。行ったモデル構成がこのリストに表示されます。設定されていない場合は、ステップ 1 に戻り、モデル構成の [プロバイダー] フィールドが [カスタム LLM] に設定されていることを確認します。

プロンプトテンプレートは、機能を実行するために LLM に送信される指示です。プロンプトテンプレートに組み込むには、機能属性名を 2 つの括弧で囲みます。たとえば、要約作成機能を構成している場合、プロンプトテンプレートは、 わかりやすく親切な口調で次のものを要約する {{textToSummarize}} のようにすることができます。プロンプトに含めることができる属性を確認するには、OneExtend 機能 [sys_one_extend_capability] テーブルに移動し、構成している機能のレコードを見つけて、[OneExtend 機能属性] 関連リストを確認します。ユースケースに最適なものを決定するために、さまざまなプロンプトを試す必要がある場合があります。

カスタム LLM の入力と出力の形式を 生成 AI コントローラー 理解するには、トランスフォーマースクリプトを作成する必要があります。トランスフォーマーレコードを作成すると、編集中にガイドとして使用できるコードとコメントが提供されます。これらのスクリプトは、モデルによって解釈される予想される要求オブジェクトと応答オブジェクトに依存します。

たとえば、 Azure OpenAI 要求構造は次のスクリプトのようになります。

{"messages": [{"role":"user", "content":"Summarize the following text: <<content>>"}], "max_tokens": 800, "temperature": 0.7}

その要求構造の要求トランスフォーマースクリプトは、次のスクリプトです。

(function(inputs) {
    /* write code here to construct the request body and any custom headers needed using the inputs object.
    inputs structure: {
        prompt_data: object,
        request_data: object
    } */
    var requestData = inputs.request_data;    
    var promptData = inputs.prompt_data;
    var prompt = promptData.prompt;
    var model = promptData.model;

    // construct body using the inputs
    var body = {
        messages: [{
        "role": "user",
        "content": prompt
        }],
        max_tokens: parseInt(promptData.max_tokens),
        temperature: parseInt(promptData.temperature)    
    };

    //construct headers using the inputs
    var headers = {};                        
    return {
        body: body,
        headers: headers
    };
})(inputs);

Azure OpenAIからの応答構造は、次のスクリプトのようになります。

{
    "choices": [{
    "finish_reason": "stop",
    "index": 0,
    "message": {
        "content": "<<response>>",
        "role": "assistant"
        }
    }],
    "created": 1714994995,
    "id": "chatcmpl-9LqpXeLVXDAi6kciPfLeIDjmALeea",
    "model": "gpt-35-turbo-16k",
    "object": "chat.completion",
    "usage": {    
        "completion_tokens": 47,
        "prompt_tokens": 70,
        "total_tokens": 117
    }
}

この応答構造により、応答トランスフォーマースクリプトは次のスクリプトのようになります。

(function(inputs) {
    /* write code here to transform the llm response into an array of text responses, using the inputs object
    inputs structure: {
        prompt_data: object,
        request_data: object,
        response_body: string,
        response_headers: string
    } */
    var requestData = inputs.request_data;
    var promptData = inputs.prompt_data;
    var responseBody = JSON.parse(inputs.response_body);
    gs.info("response : " + inputs.response_body);
    var responseTexts = [];

    // write code here to populate the responseTexts array.
    responseTexts.push(responseBody.choices[0].message.content);

    return responseTexts;

})(inputs);