Configurar credenciais de API para um conector de modelo de linguagem grande (LLM) genérico

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 2 min. de leitura

    • Use um conector LLM genérico para conectar o Now Platform a um provedor de IA externo para usar capacidades de IA generativa em tópicos Virtual Agent, fluxos ou scripts personalizados, como scripts de regra de negócio e plano de fundo.

    Antes de Iniciar

    Você deve ter acesso à API de um LLM externo para configurar as credenciais.

    Função necessária: administrador

    Por Que e Quando Desempenhar Esta Tarefa

    Você pode conectar um LLM externo ao Now Platform criando um alias de conexão com o modelo, criando um registro de modelo que aponta para o alias, criando um registro de prompt para o modelo e, em seguida, criando um registro de transformador para transformar a solicitação ou resposta de o LLM.

    Procedimento

    1. Navegar até Tudo > Conexões e Credenciais > Credenciais.
    2. Selecionar credenciais de chave de API
    3. No campo Nome, dê um nome à credencial da API.
      Incluir o nome do modelo na credencial de chave de API facilita a identificação posterior.
    4. No campo Chave de API, insira a chave de API do seu modelo.
      Formulário Credenciais de chave de API preenchido com nome e chave de API.
    5. Selecione Enviar para criar a credencial.
      Nesta etapa, você tem as informações da chave de API para o LLM externo configurado.
    6. Navegar até Tudo > Conexões e Credenciais > Aliases de conexões e credenciais.
    7. Selecione Novo.
    8. No campo Nome, insira um nome para o alias de credencial.
      Você não precisa alterar nenhum outro valor de campo. Registro de alias de conexão e credenciais com o nome preenchido.
    9. Selecione Enviar.
    10. Depois de ser redirecionado para a exibição de lista, localize e abra o registro que você acabou de criar.
    11. Selecione Novo na lista relacionada Conexões para criar um novo registro de Conexão.
    12. Insira o nome da conexão no campo Nome.
    13. No campo Credencial, selecione o registro de credencial que você criou com a chave de API do modelo.
      Você pode pesquisar a lista de credenciais digitando o nome da credencial no campo. Você também pode selecionar o ícone de pesquisa ( Ícone de pesquisa.) para abrir um modal com a lista completa.
    14. No campo Alias de conexão, selecione o registro de alias que você criou.
    15. Para a URL de conexão, insira a URL do endpoint para o modelo.
      Por exemplo, um modelo de Abraçando o rosto pode começar com "https://api-inference.huggingface.co". Você pode deixar os campos restantes como estão. Registro de conexão HTTP(s) preenchido com a credencial do meu modelo, alias e URL de conexão.
    16. Selecione Enviar.

    Resultado

    Você tem o alias de conexão e credencial a ser usado para conectar um LLM genérico para usar recursos de IA generativos na Now Platform. Você pode confirmar isso navegando até Tudo > Conexões e Credenciais > Aliases de conexões e credenciais e confirmando que a conexão aparece na lista relacionada. Credenciais e alias concluídos para LLM personalizado.

    O que Fazer Depois

    Para obter mais informações sobre como configurar um LLM genérico, consulte configuração de um conector de LLM genérico