を使用したデータセットの作成 Now Assist スキルキット
これらのガイドラインを使用して、効果的なデータセットを作成してください。効果的なデータセットを使用すると、プロンプトでより良い結果が得られます。
Now Assist スキルキット データセット作成の概要
スキル開発に対するデータ駆動型アプローチは、スキルを開発およびテストするための高品質のデータセットの収集に依存しています。Now Assist スキルキットを使用すると、Now Platformの既存の機能を活用して高品質のデータセットを作成することもできます。
この目的でデータを収集する場合は、次のようなデータセットを作成することを目指す必要があります。
- スキルの意図するデプロイ環境を表します。データは次のものである必要があります。
- 展開環境で予想される入力の分布を反映させます。
- 識別されたいくつかの軸 (入力の長さ、緊急度など) に沿った差異をキャプチャします。
- ユースケースにとって重要であるとわかっている入力の例を含めます。
- エッジケース (まれな場合もあります) ですが、問題を引き起こす疑いがあるケース (長い例など) を検討してください。
- チームのリスク選好度に合わせて適切なサイズ。
- データをほとんど使わずにスキルを開発してデプロイすることは可能です。ただし、データが不足していると、展開でのスキルのパフォーマンスに関する不確実性が高まります。
- 統計学者のように考え、関連するパフォーマンススコアの信頼区間を作成し、迅速に比較する必要があります。
- プロンプトの開発と作成に使用されるデータから分離されています。
- 収集したデータを開発セットとテストセットに分割する必要があります。データを分割することで、一部のデータを評価目的でのみ保護することになります。
- プロンプトの開発中にすべてのデータを使用すると、スキルの最終評価にバイアスがかかり、パフォーマンスが過大評価されます。このバイアスは、プロンプトオーバーフィッティングと呼ばれる現象によるものです。