BigQuery メタデータコレクタは、外部 BigQuery アカウントからのメタデータへの読み取り専用アクセスを提供します。

コレクタは、BigQuery インスタンス内の BigQuery データセット、プロジェクト、テーブル、列のメタデータを収集し、データカタログで検索および検出可能にします。コレクターは、テーブルとビュー間の列レベルのリネージ関係も収集します。

カタログ化されたメタデータ

BigQuery コレクタは、次の情報をカタログ化します。

表 : 1. 収集されたメタデータ

オブジェクト	カタログ化された情報
データセット	ID、名前、説明、ラベル (これらはキーと値のペアであることに注意してください)、作成日、最終変更日、デフォルトのテーブルの有効期限、デフォルトのパーティションの有効期限、データの場所
プロジェクト	名前
テーブル	名前、説明、作成日、最終変更日、デフォルトのテーブル有効期限、データの場所、ラベル、タイプ (標準、外部、スナップショット、モデル)、フィールドでパーティション化、標準テーブルとスナップショットテーブルの列でクラスター化、パーティションタイプ (範囲または時間) にはパーティションフィルターが必要です。範囲 (開始、終了、間隔)、時間 (パーティションタイプ (時、日、月、年)、有効期限)
列	名前、説明、データタイプ、null 可能、列サイズ
表示	名前、説明、作成日、デフォルトのテーブル有効期限、最終変更日、データの場所、デフォルトの照合順序、ラベル、SQL の表示、マテリアライズドの列別クラスター化

オブジェクト間の関係

カタログページには、次のデータ資産タイプ間の関係が表示されます。

表 : 2. 収集されたデータ資産間の関係

データ資産ページ	リレーションシップ
データセット	テーブル、ビュー
プロジェクト	データセット
テーブル	列、ラベル
列	テーブル、ビュー
ビュー	列
ラベルの値	テーブル、ビュー、プロジェクト、データセット

BigQuery のリネージ

次のリネージ情報が BigQuery コレクターによって収集されます。

表 : 3. オブジェクトリネージの可用性

オブジェクト	利用可能なリネージ
列を表示	コレクターは、アップストリームのビューまたはテーブルで関連する列を識別します。 データのソース ORDER BY で行をソートする WHERE/HAVING で行をフィルタリングする GROUP BY を介して行をアグリゲートする