same ソースからの重複レコードの自動クリーンアップ
TISCアプリケーションには同じソースから繰り返し受信したレコードを管理するための自動ロジックが含まれています。同一または一致するレコードが同じソースから複数回取り込まれた場合、アプリケーションは、以前に保存されたインスタンスが重複として識別される間、最新のレコードがアクティブなままになります。
重複レコードの影響
同じソースからの重複レコードがアプリケーションに保持される場合:
- 重複排除ジョブは、実行中に多数のレコードを評価する必要があります。
- レコードボリュームを増やすと、ジョブの実行時間が長くなる可能性があります。
- システムが冗長なエントリを識別して解決するときに、処理レイテンシが発生する可能性があります。
テーブルクリーナーは、観測事象ソース [sn_sec_tisc_observable_source]、インジケーターソース [sn_sec_tisc_indicator_source]、およびオブジェクトソース [sn_sec_tisc_object_source] テーブルに実装されています。
これらのクリーナーは、次の条件に基づいてそれぞれのテーブルからレコードを削除します。
Records where the processing Status is set to Duplicate and Duplicate of Record from Same Source flag is set to true and the record was last updated more than 90 days ago.