BigQuery 메타데이터 수집기는 외부 BigQuery 계정의 메타데이터에 대한 읽기 전용 액세스를 제공합니다.

수집기는 BigQuery 인스턴스의 BigQuery 데이터 세트, 프로젝트, 테이블, 열에 대한 메타데이터를 수집하여 데이터 카탈로그에서 검색하고 검색할 수 있도록 합니다. 또한 수집기는 테이블과 뷰 간의 열 수준 계보 관계를 수집합니다.

메타데이터 카탈로그됨

BigQuery 수집기는 다음 정보를 카탈로그화합니다.

표 1. 수집된 메타데이터

객체	카탈로그화된 정보
데이터 세트	ID, 이름, 설명, 레이블(키/값 쌍), 작성 날짜, 마지막으로 수정한 날짜, 기본 테이블 만료, 기본 파티션 만료, 데이터 위치
프로젝트	이름
테이블	이름, 설명, 생성한 날짜, 마지막으로 수정한 날짜, 기본 테이블 만료, 데이터 위치, 레이블, 유형(표준, 외부, 스냅샷, 모델), 필드에 분할됨, 표준 및 스냅샷 테이블에 대한 열별로 클러스터링됨, 파티션 유형(범위 또는 시간) 파티션 필터 필요 - 범위(시작, 종료, 간격) 시간(파티션 유형(시, 일, 월, 연도), 만료)
열	이름, 설명, 데이터 유형, null 허용 여부, 열 크기
뷰	이름, 설명, 생성한 날짜, 기본 테이블 만료, 마지막으로 수정한 날짜, 데이터 위치, 기본 데이터 정렬, 레이블, SQL 뷰, 구체화된 열별로 클러스터링됨

객체 간 관계

카탈로그 페이지에는 다음 데이터 자산 유형 간의 관계가 표시됩니다.

표 2. 수집된 데이터 자산 간의 관계

데이터 자산 페이지	관계
데이터 세트	테이블, 뷰
프로젝트	데이터 세트
테이블	열, 레이블
열	테이블, 뷰
뷰	열
레이블 값	테이블, 뷰, 프로젝트, 데이터 세트

BigQuery의 계보

BigQuery 수집기에서 수집되는 계보 정보는 다음과 같습니다.

표 3. 개체 계보 가용성

객체	사용 가능한 계보
열 보기	수집기는 업스트림 뷰 또는 테이블에서 연관된 열을 식별합니다. 데이터 출처 ORDER BY를 통해 행을 정렬합니다. WHERE/HAVING을 통해 행을 필터링하는 GROUP BY를 통해 행을 집계하는