Snowflake メタデータコレクター
Snowflakeメタデータコレクターは、外部Snowflakeアカウントからのメタデータへの読み取り専用アクセスを提供します。
コレクターは、Snowflake Data Cloud からメタデータを収集します。表形式のオブジェクト、ポリシーやタグなどの Horizon オブジェクト、および Snowflake データ品質アーティファクトを収集します。また、関数とストアド プロシージャも収集します。コレクターは、列の統計情報とテーブルクエリ数を収集できます。さらに、Streamlitアプリケーションのメタデータを収集することもできます。
カタログ化されたメタデータ
Snowflakeコレクターは、次の情報をカタログ化します。
| オブジェクト | カタログ化された情報 |
|---|---|
| 列 | 名前、コメント、データタイプ、null 可能、デフォルト値、キータイプ (プライマリ、外部) |
| テーブル | 名前、コメント、プライマリキー、スキーマ、外部 URL (Snowsight) 拡張メタデータ:氷山、動的、一時的、作成日、最終変更日、最終更新者 (Snowflake LAST_DDL_BY)、所有者 (テーブルを所有する Snowflake ロール)、定義変更日、テーブルサイズ |
| 表示 | 名前、コメント、スキーマ、外部 URL (Snowsight)、定義変更日、最終変更者 (Snowflake LAST_DDL_BY)、氷山、動的、一時、作成日、最終変更日、所有者 (テーブルを所有する Snowflake ロール)、SQL 定義 |
| マテリアライズドビュー | 名前、コメント、スキーマ、外部 URL (Snowsight)、定義変更日、最終変更者 (Snowflake LAST_DDL_BY)、氷山、動的、一時、作成日、最終変更日、所有者 (テーブルを所有する Snowflake ロール) |
| スキーマ | 識別子、名前 拡張メタデータ:コメント、作成日、更新日 |
| データベース | タイプ、名前、識別子、サーバー、ポート、環境、JDBC URL 拡張メタデータ:コメント |
| ユーザー定義関数 (これには、Snowparkで作成されたユーザー定義関数が含まれます) |
名前 拡張メタデータ:関数の定義、コメント、作成日、所有者 (Snowflake ロール)、Snowflake 関数タイプ (戻り値の型)、関数のシグネチャ、関数言語、パッケージ、ランタイムバージョン、更新日時 |
| ストアドプロシージャ (これには、Snowparkで作成されたストアドプロシージャが含まれます) |
名前 拡張メタデータ:関数の定義、所有者 (Snowflake ロール)、コメント、戻り値の型、関数言語、パッケージ、作成日、関数の署名、Snowflake 関数タイプ、ランタイムバージョン、更新済み、ストアドプロシージャタイプ |
オブジェクト間の関係
収集されたメタデータには、次のデータ資産タイプのカタログページが含まれます。各カタログページには、他の関連するデータ資産タイプとの関係があります。
| データ資産ページ | リレーションシップ |
|---|---|
| Snowflake 行アクセスポリシー | テーブル |
| Snowflake マスクポリシー | 列、タグ値 |
| テーブル | 列、タグ値、データメトリクス 分析する関数、ビュー、テーブル、またはテーブルが依存する関数 |
| Snowflake タグ | タグ値 |
| 列 | テーブル、タグ値、システムタグ値 |
| 表示 | ビュー、ビューの一部である列、データメトリクスを含むスキーマ ビューを分析する関数、ビュー、テーブル、またはビューが依存する関数 |
| マテリアライズドビュー | マテリアライズドビュー、マテリアライズドビューの一部である列を含むスキーマ |
| スキーマ | スキーマを含むデータベース、スキーマの一部であるテーブル、スキーマの一部であるビュー、スキーマの一部であるマテリアライズドビュー、スキーマの一部であるStreamlitアプリ |
| Streamlitアプリ | Streamlitアプリを含むスキーマ |
| データベース | データベースに含まれるスキーマ |
| データメトリクス関数 | この Snowflake データによって分析されるテーブルまたはビュー メトリクス関数、テーブル、ビュー、テーブル、または関数が依存する関数 |
Snowflake のリネージと依存関係
次のリネージ情報が Snowflake コレクターによって収集されます。変数ステートメントを使用して定義された SQL ステートメントのリネージはサポートされていないことに注意してください。
- 変数ステートメントを介して定義された SQL ステートメントのリネージはサポートされていません。
- コレクタは、SQL 式とサブクエリ全体で、ビューの列から最終的なソース Table 列まで、これらの関係をトレースします。
| オブジェクト | 利用可能なリネージ |
|---|---|
| ビューの列 |
コレクターは、アップストリームのビューまたはテーブルで関連する列を識別します。
|
| ユーザー定義関数 |
関数と:
ビューを参照するビューと関数 |
| ストアドプロシージャ |
コレクターは以下を識別します。
注: 次のストアド プロシージャはサポートされていません。
|
依存関係
Snowflakeコレクターは、Snowflakeアカウント使用状況ビュー OBJECT_DEPENDENCIESを使用して、テーブル、ビュー、および関数間の依存関係をカタログ化します。OBJECT_DEPENDENCIESビューの詳細については、Snowflakeのドキュメントを参照してください。
コレクタの実行中にプロファイリングとサンプリング固有のパラメータを含めると、列について次の追加情報が収集されます。
| オブジェクト | カタログ化された情報 |
|---|---|
| 列 |
|
| テーブル |
|
[Collect Snowflake policy information] オプションと [Collect Snowflake tag information] オプションを有効にしてコレクターを実行すると、次の追加情報がカタログ化されます。
| オブジェクト | カタログ化された情報 |
|---|---|
| 列 | Snowflakeのマスキングポリシー |
| Snowflake タグ | 名前、許容値、コメント |
| Snowflake タグ値 | 名前、値 |
| Snowflake マスクポリシー | 名前、コメント、作成日、Snowflake タグ、所有者、タイプ、ポリシー本文、スキーマ、データベース |
| Snowflake 行アクセスポリシー | 名前、コメント、作成日、Snowflake タグ、所有者、タイプ、ポリシー本文、スキーマ、データベース |
[Snowflake テーブル使用情報の収集] オプションと [テーブル使用状況のルックバック日数] オプションを有効にしてコレクターを実行すると、次の追加情報がカタログ化されます。
| オブジェクト | カタログ化された情報 |
|---|---|
| テーブル | クエリ数 |
データメトリクス関数情報の収集オプションを有効にしてコレクターを実行すると、 データ品質メトリクス に関する次の追加情報がカタログ化されます。
| オブジェクト | カタログ化された情報 |
|---|---|
| データメトリクス関数 |
|
| テーブル |
|
Streamlitアプリ情報の収集オプションを有効にしてコレクターを実行すると、次の追加情報がカタログ化されます。
| オブジェクト | カタログ化された情報 |
|---|---|
| Snowflake Streamlitアプリ |
|