Now Assist スキルキットを使用したデータセットの作成
これらのガイドラインを使用して、効果的なデータセットを作成してください。効果的なデータセットがあると、プロンプトの結果が向上します。
Now Assist スキルキット データセット作成の概要
スキル開発に対するデータ駆動型アプローチは、スキルの開発とテストのための高品質のデータセットの収集に依存しています。Now Assist スキルキットを使用すると、ServiceNow AI Platformの既存の機能を活用して高品質のデータセットを作成することもできます。
この目的でデータを収集する場合は、次のようなデータセットを作成することを目指す必要があります。
- スキルの意図する展開環境を表します。データは次のことを行う必要があります。
- 展開環境で予想される入力の分布を反映するように求めます。
- 特定された複数の軸に沿って差異をキャプチャします (入力長、緊急度など)。
- ユースケースにとって重要であるとわかっている入力の例を含めます。
- エッジケース (まれな場合があります) が、問題を引き起こす疑いのあるケース (長い例など) を検討します。
- チームのリスク選好度に適したサイズ。
- 少ないデータでスキルを開発して展開することが可能です。ただし、データが不足していると、展開時にスキルがどのように実行されるかについての不確実性が高まります。
- 統計学者のように考え、関連するパフォーマンススコアの信頼区間を作成し、比較を促す必要があります。
- プロンプトの開発と作成に使用されるデータから分離されています。
- 収集したデータは開発セットとテストセットに分割する必要があります。データを分割することで、一部のデータは評価目的でのみ保護されます。
- プロンプトの開発プロセス中にすべてのデータを使用すると、スキルの最終評価に偏りが生じ、パフォーマンスが過剰に報告されます。このバイアスは、プロンプト過学習として知られる現象によるものです。