Como criar um conjunto de dados usando Kit de habilidades do Now Assist
Use estas diretrizes para criar um conjunto de dados eficaz. Ter um conjunto de dados eficaz fornece melhores resultados para o seu prompt.
Kit de habilidades do Now Assist visão geral da criação do conjunto de dados
Uma abordagem orientada por dados para o desenvolvimento de habilidades depende da coleta de um conjunto de dados de alta qualidade para desenvolver e testar a habilidade. Ao usar Kit de habilidades do Now Assist, você também pode aproveitar os recursos existentes do Now Platform para criar um conjunto de dados de alta qualidade.
Ao coletar dados para essa finalidade, você deve criar conjuntos de dados que sejam:
- Representante do ambiente de implantação pretendido da habilidade. Os dados devem:
- Procure refletir a distribuição esperada de entradas no ambiente de implantação.
- Capture a variância ao longo de vários eixos identificados, por exemplo, comprimento de entrada, urgência.
- Inclua exemplos de entradas que são conhecidas como importantes para o caso de uso.
- Considere casos de borda (que podem ser raros), mas que são suspeitos de causar problemas, por exemplo, exemplos longos.
- Dimensionado adequadamente para o apetite de risco da equipe.
- É possível desenvolver e implantar uma habilidade com poucos dados. No entanto, a falta de dados cria mais dúvidas sobre o desempenho da habilidade na implantação.
- Você deve pensar como estatísticos e produzir intervalos de confiança para todas as pontuações de desempenho associadas e fazer comparações.
- Isolado dos dados usados para desenvolver e gravar os prompts.
- Você deve dividir os dados coletados em conjuntos de desenvolvimento e de teste. Ao dividir os dados, você protege alguns dados exclusivamente para fins de avaliação.
- Se você usar todos os dados durante o processo de desenvolvimento do prompt, sua avaliação final da habilidade será tendenciosa, o que significa que ela relatará em excesso o desempenho. Esse viés se deve a um fator conhecido como sobreajuste de prompt.