ログデータの自動マッピングとマッピング

Xanadu IT Operations Management

Release

xanadu

ft:locale

ja-JP

ft:publication_title

Xanadu IT Operations Management

ft:clusterId

itom

bundleId

itom

workflow

Technology

ログデータの自動マッピングとマッピング

リリースバージョン: Xanadu

更新日 2024年08月01日

所要時間：6分

デフォルトでは、ヘルスログアナリティクス AI エンジンで、すべての受信ログ行と適切なタグの自動マッピングが試行されます。JavaScript 関数を定義することで、自動マッピングの結果を手動で変更できます。

受信ログ行の自動マッピング

ヘルスログアナリティクス自動マッピングでは、ログサンプルとメタデータが、アプリケーションサービス、コンポーネント、およびソースタイプの 3 つのタグにアサインされます。アプリケーションサービスのアサインは、データ入力セットアップで指定されたアプリケーションサービスに基づいたものになります。残りのタグは自動的にアサインされます。

たとえば、次のログ行の例では、ヘルスログアナリティクスが「source」フィールドを使用してコンポーネントとソースタイプを検索します。

{"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786}

この例では、ヘルスログアナリティクスで文字列「online_store」が抽出されます。ログ行に source、path、channel、namespace_name、name、pod_name、source_name、aws_lambda_name が存在する場合は、そのフィールドが分析されます。データが Syslog 経由で送信されると、syslog タグも分析されます。

不要なデータの抽出停止: 抽出された文字列がわかりにくい場合や、冗長なテキストや情報が含まれている場合は、そのような不要なデータの抽出を停止できます。詳細については、「不要なログデータの抽出停止」を参照してください。
特定のデータを確実に抽出: 特定の必要な用語をヘルスログアナリティクスで確実に抽出させることができます。詳細については、「特定のログデータを確実に抽出」を参照してください。

データ入力ソースのマッピング

JavaScript 関数を定義することで、自動マッピングの結果を手動で変更できます。データ入力マッピングを使用すると、アプリケーションサービス別およびアベイラビリティゾーン別にログデータを整理できます。1 つのアプリケーションサービスに複数のコンポーネントを含めることができます。また、コンポーネントは、さまざまなソースタイプのログを受信できます。ただし、アプリケーションサービスとコンポーネントのペアは一意です。ソースタイプは、特定のログ構造と形式に基づいています。アプリケーションサービスとコンポーネントは、より広く定義されているので、主に論理マッピングに使用されます。

[テストモード] を有効にすると、ログデータマッピングを完成させるためだけに使用されるサンプルデータによる Elasticsearch ストレージの破壊を回避できます。データ入力がテストモードの場合、ヘルスログアナリティクスはソースタイプ、ソース、または標準フローで作成されるその他のオブジェクトを作成しません。ストリーミングされたデータは、ログビューアーにコンポーネントとして表示される専用の一時的な Elasticsearch インデックスに保存されます。スクリプトを公開してテストモードを終了すると、これらの一時インデックスは削除され、ストレージスペースの消費が最小限に抑えられます。

JavaScript 関数を定義する場合は、[テスト] を選択して、現在指定されているスクリプトの結果を確認します。この機能を使用すると、作成されたソースタイプとソースをプレビューできます。その後、目的の結果が得られるまでスクリプトを調整できます。たとえば、複数のバージョンの JavaScript 関数のテスト結果を比較する場合に便利です。

注:

デフォルトでは、このテストは 100 個のログデータサンプルを処理します。この数値は、システムのプロパティでカスタマイズできます。詳細については、「グローバルヘルスログアナリティクスシステムプロパティの構成」を参照してください。

データ入力のセットアップ中に、システムが過剰な数のデータ入力ソースを作成することがあります。これは、たとえば、不完全なマッピングスクリプトが原因で発生することがあります。システムプロパティで、データ入力ごとに作成されるソース数に制限を設定できます。


システムプロパティ	説明	デフォルト
sn_occ.sources_warning_limit	データ入力ごとに作成されるソース数の警告制限。	500
sn_occ.sources_critical_limit	データ入力ごとに作成されるソース数の重大な制限。	600

特定のデータ入力で作成されたログソースの数が、そのデータ入力の [ソースの数] フィールドに表示されます。データ入力のセットアップ中に作成されたソースの合計数が警告制限に達すると、警告通知がメールで送信されます。また、[データ入力マッピング]、[ログソース]、および [データ入力] ページにもメッセージが表示されます。通知とメッセージには、これまでに作成されたソースの合計数と、この合計数に対して最も多くのソースを提供した 3 つのデータ入力が含められます。アクションが実行されない場合、システムは合計数が重大な制限に達するまでソースを作成し続けます。制限に達すると、すべてのデータ入力からのデータ入力セットアップとストリーミングが自動的に停止されます。問題が解決されるまで、手動でデータ入力を開始することはできません。この状態を解決するには、Now Support ナレッジベースの「データ入力のソースが多すぎる場合の処理方法 (How to handle too many sources in data inputs) [KB0963067]」の手順に従ってください。

ログデータのバインディング

ログデータを構成管理データベース (CMDB) の構成アイテム (CI) にバインドすると、ログに一致するエンドポイントの CMDB を検索できます。データ入力を設定するときは、CMDB の CI にバインドされているアプリケーションサービスにログエントリーをバインドします。ログエントリー、アプリケーションサービス、および CI をバインドすると、ヘルスログアナリティクス AI エンジンでそれらを関連付けて、根本原因分析 (RCA) に使用できます。詳細については、データ入力の設定 (Rsyslog、Filebeat、または Winlogbeat)およびデータ入力を設定 (Elasticsearch)を参照してください。