例外モデルテスト

  • リリースバージョン: Washingtondc
  • 更新日 2024年02月01日
  • 読む5読むのに数分
  • 例外モデルテストでは、実際の測定基準のデータを使用して、少数のセットの CI と測定基準に対して例外検出を適用し評価します。テスト結果を予想される結果と比較し、例外検出モデルを微調整してから、本番環境でテスト済みの CI と測定基準に対して例外検出を有効にします。

    たとえば、Linux サーバーの例外検出を有効にする前に、これらの Linux サーバーに対して収集された実際の測定基準のデータを使用して、例外モデルテストを行うことができます。既存のアラートは、特定の測定基準と CI の例外を示す場合があります。これらの CI と測定基準の例外検出をテストするための例外テストルールを作成し、予想される例外が検出されるかどうかを確認できます。また、例外モデルによって計算された限度について、予想される限度と一致するかどうかを確認することもできます。テストモデルを微調整した後、Linux サーバーの例外検出を有効にすることができます。

    例外モデルのテストでは、同じ CI に対して 20 の測定基準タイプ、20 の CI に対して同じ測定基準タイプ、またはこれらのオプションの任意の組み合わせを含むことができる最大 20 のタイムシリーズをサポートしています。

    テスト結果をインサイトエクスプローラーで表示する

    テストの実行が完了すると、インサイトエクスプローラーへの URL が利用できるようになります。例外モデルのテスト結果は、このトリムダウンバージョンのインサイトエクスプローラーに表示されます。このインサイトエクスプローラーには、例外テストルールで指定された測定基準シリーズのグラフとスコアが事前にロードされています。このインサイトエクスプローラーに CMDB グループまたはアプリケーションサービスを追加することはできません。

    インサイトエクスプローラーの各グラフには、[チャート設定] の [例外テスト統計] セクションが含まれています。このセクションは例外モデルテストの固有のものであり、次のオプションが提供されます。
    • [限度を表示]:過去の測定基準の値の学習に基づいて、例外モデルテストで測定基準の上限と下限を計算して表示します。上限と下限は常に一緒に表示されます。
    • [例外スコアの表示]:例外モデルテストについて、0 ~ 10 の仮想軸を用いて例外スコアを表示します。カラーコードは、[イベント重大度マップ] [sa_metric_anomaly_score_to_event_severity_map] テーブルの例外スコアに定義されているスコアしきい値に基づいています。

    テスト結果を使用して例外検出を微調整する

    例外モデルテストでは、例外テストルールで選択したシリーズに構成された上限と下限を使用します。例外モデルテストの結果には、テスト済みの CI と測定基準で例外検出が有効になっている場合に、指定された設定に基づいて生成される例外アラートの数が示されます。これにより、この結果を許容できるかどうかを決定できます。生成される例外アラートの数が過剰にならないように限度を微調整しますが、限度外スコアを正確に示すだけで十分です。

    例外テストルールを作成する

    例外モデルテストを行うには、例外テストルールを作成して、例外検出をテストするための最大 20 の測定基準のシリーズを指定します。例外テストを実行して完了したら、指定された URL を使用して、モデルのテスト結果とともに事前にロードされているインサイトエクスプローラーを開きます。

    始める前に

    必要なロール:evt_mgmt_user

    手順

    1. 移動先 すべて > イベント管理 > 例外検出 > 例外モデルテスト.
    2. 既存の例外テストルールを選択して編集し再度実行するか、[新規] をクリックして [例外テストルール] フォームに入力します。
      フィールド 説明
      名前 モデルテストルールの名前です。
      適用先 モデルテストルールに対して CI / 測定基準のペアを選択するためのテーブルです。使用するテーブルは、[測定基準と CI のマッピング] [sa_metric_map] です。
      ルール 例外モデルテストの CI / 測定基準のペアを指定するためのフィルター条件です。ルールによって生成された CI / 測定基準が 20 組を超える場合は、リストは 20 に短縮されます。
      開始日 / 終了日 例外検出テストを適用する期間です。期間は、過去 7 日間以内である必要があります。
      ステータス テストのステータスです。テスト実行中にシステムによって自動的に更新されます。ステータスは最初は [スケジュール済み] となり、最終的には [完了] に変わります。
      URL 例外モデルテストの結果が事前にロードされているインサイトエクスプローラーの URL です。
      メモ 例外テストルールのそれぞれの実行時の詳細に基づいて、システムによって自動的に更新されるログのサマリーです。
    3. [例外テストの実行] をクリックします。
      テストの実行中、ジョブの進行状況を反映して、[ステータス][URL]、および [メモ] フィールドが自動的に更新されます。
    4. [ステータス] が [完了] に変わった後、[URL] のリンクをクリックしてインサイトエクスプローラーを開き、テストの結果を確認します。

    タスクの結果

    例外モデルテストの限度とグラフは、インサイトエクスプローラーでは薄い色で表示されます。また、テストで計算される上限と下限では、実際の例外検出の結果に使用される線パターンとは異なる線パターンを使用します。これらの違いにより、実際の例外検出と例外モデルのテスト結果がグラフ設定で選択されている場合、それらを識別することができます。例外モデルテスト結果は、実際の例外検出の結果と比べて薄い色で表示されます。

    次のタスク

    • テストの日付範囲を変更するか異なる時間のシリーズを選択して、[例外テストの実行] を再度クリックして続行し、モデルを微調整します。
    • グラフの [グラフ設定] アイコンをクリックして、グラフの統計と集計の表示を切り替えます。例外テスト統計と例外統計のセクションで [限度の表示][例外スコアの表示] を選択して、実際の例外検出の結果の横にテスト結果を表示します。
      注:
      例外モデルテストの結果は、実際の例外検出の結果とほとんど同じになる場合があります。グラフを同時に表示するように構成した場合、グラフ上にマウスを移動すると、差異点を特定することが困難になる場合があります。
    • 例外テスト結果に問題がない場合は、テストで指定された測定基準と CI について、本番環境での例外検出を有効にします。詳細は、監視する測定基準の選択および設定を参照してください。