Snowflake 메타데이터 수집기
Snowflake 메타데이터 수집기는 외부 Snowflake 계정의 메타데이터에 대한 읽기 전용 액세스를 제공합니다.
수집기는 Snowflake Data Cloud에서 메타데이터를 수집합니다. 테이블 형식 객체, 정책 및 태그와 같은 Horizon 객체, Snowflake 데이터 품질 아티팩트를 수집합니다. 또한 함수와 저장 프로시저를 수집합니다. 수집기는 열 통계 및 테이블 쿼리 수를 수집할 수 있습니다. 또한 Streamlit 애플리케이션에 대한 메타데이터를 수집할 수 있습니다.
메타데이터 카탈로그됨
Snowflake 수집기는 다음 정보를 카탈로그화합니다.
| 객체 | 카탈로그화된 정보 |
|---|---|
| 열 | 이름, 설명, 데이터 유형, null 허용 여부, 기본값, 키 유형(기본, 외래) |
| 테이블 | 이름, 설명, 기본 키, 스키마, 외부 URL(Snowsight) 확장된 메타데이터: Is Iceberg, Is dynamic, Is transient, 생성 날짜, 마지막으로 수정한 날짜, 마지막으로 업데이트한 사람(Snowflake LAST_DDL_BY), 소유자(테이블을 소유한 Snowflake 역할), 정의 변경 날짜, 테이블 크기 |
| 뷰 | 이름, 설명, 스키마, 외부 URL(Snowsight), 정의 변경 날짜, 마지막으로 수정한 사람(Snowflake LAST_DDL_BY), 빙산인지 여부, 동적인지 여부, 임시 여부, 생성한 날짜, 마지막으로 수정한 날짜, 소유자(테이블을 소유한 Snowflake 역할), SQL 정의 |
| 구체화된 뷰 | 이름, 설명, 스키마, 외부 URL(Snowsight), 정의 변경 날짜, 마지막으로 수정한 사람(Snowflake LAST_DDL_BY), 빙산인지 여부, 동적인지 여부, 임시 여부, 생성한 날짜, 마지막으로 수정한 날짜, 소유자(테이블을 소유한 Snowflake 역할) |
| 스키마 | 식별자, 이름 확장된 메타데이터: 설명, 생성한 날짜, 업데이트됨 |
| 데이터베이스 | 유형, 이름, 식별자, 서버, 포트, 환경, JDBC URL 확장된 메타데이터: 설명 |
| 사용자 정의 기능 (여기에는 Snowpark에서 생성된 사용자 정의 함수가 포함됩니다.) |
이름 확장된 메타데이터: 함수 정의, 설명, 생성한 날짜, 소유자(Snowflake 역할), Snowflake 함수 유형(반환 유형), 함수 서명, 함수 언어, 패키지, 런타임 버전, 업데이트됨 |
| 스토어드 프로시저 (여기에는 Snowpark에서 생성된 저장 프로시저가 포함됩니다.) |
이름 확장된 메타데이터: 함수 정의, 소유자(Snowflake 역할), 설명, 반환 유형, 함수 언어, 패키지, 생성 날짜, 함수 서명, Snowflake 함수 유형, 런타임 버전, 업데이트됨, 스토어드 프로시저 유형 |
객체 간 관계
수집된 메타데이터에는 다음 데이터 자산 유형에 대한 카탈로그 페이지가 포함됩니다. 각 카탈로그 페이지는 다른 관련 데이터 자산 유형과 관계가 있습니다.
| 데이터 자산 페이지 | 관계 |
|---|---|
| Snowflake 행 액세스 정책 | 테이블 |
| Snowflake 마스킹 정책 | 열, 태그 값 |
| 테이블 | 열, 태그 값, 데이터 메트릭 테이블이 종속된 함수, 뷰, 테이블 또는 함수를 분석하는 기능 |
| Snowflake 태그 | 태그 값 |
| 열 | 테이블, 태그 값, 시스템 태그 값 |
| 뷰 | 뷰, 뷰의 일부인 열, 데이터 메트릭을 포함하는 스키마 뷰, 뷰, 테이블 또는 뷰가 종속된 함수를 분석하는 기능 |
| 구체화된 뷰 | 구체화된 뷰, 구체화된 뷰의 일부인 열을 포함하는 스키마 |
| 스키마 | 스키마, 스키마의 일부인 테이블, 스키마의 일부인 뷰, 스키마의 일부인 구체화된 뷰, 스키마의 일부인 Streamlit 앱을 포함하는 데이터베이스 |
| Streamlit 앱 | Streamlit 앱을 포함하는 스키마 |
| 데이터베이스 | 데이터베이스에 포함된 스키마 |
| 데이터 메트릭 기능 | 이 Snowflake 데이터로 분석한 테이블 또는 뷰 메트릭 함수, 테이블, 뷰, 테이블 또는 함수가 종속된 함수 |
Snowflake의 계보 및 종속성
다음 계보 정보는 Snowflake 수집기에서 수집됩니다. 변수문을 통해 정의된 SQL 문에 대한 계보는 지원되지 않습니다.
- 변수문을 통해 정의된 SQL 문에 대한 계보는 지원되지 않습니다.
- 수집기는 SQL 표현식과 하위 쿼리에서 뷰의 열에서 최종 소스 테이블 열까지 이러한 관계를 추적합니다.
| 객체 | 사용 가능한 계보 |
|---|---|
| 뷰의 열 |
수집기는 업스트림 뷰 또는 테이블에서 연관된 열을 식별합니다.
|
| 사용자 정의 기능 |
기능 및:
뷰를 참조하는 뷰 및 기능 |
| 스토어드 프로시저 |
수집기는 다음을 식별합니다.
참고: 다음 저장 프로시저는 지원되지 않습니다.
|
의존성
Snowflake 수집기는 Snowflake 계정 사용량 뷰 OBJECT_DEPENDENCIES를 사용하여 테이블, 뷰 및 함수 간의 종속성을 카탈로그화합니다. OBJECT_DEPENDENCIES 뷰에 대한 자세한 내용은 Snowflake 문서를 참조하십시오.
수집기를 실행하는 동안 프로파일링 및 샘플링 특정 매개변수를 포함하면 열에 대해 다음과 같은 추가 정보가 수집됩니다.
| 객체 | 카탈로그화된 정보 |
|---|---|
| 열 |
|
| 테이블 |
|
Collect Snowflake 정책 정보 및 Collect Snowflake 태그 정보 옵션이 활성화된 상태에서 수집기를 실행할 때 다음 추가 정보가 카탈로그화됩니다.
| 객체 | 카탈로그화된 정보 |
|---|---|
| 열 | Snowflake 마스킹 정책 |
| Snowflake 태그 | 이름, 허용된 값, 설명 |
| Snowflake 태그 값 | 이름, 값 |
| Snowflake 마스킹 정책 | 이름, 댓글 , 작성일자, Snowflake 태그, 소유자, 유형, 정책 본문, 스키마, 데이터베이스 |
| Snowflake 행 액세스 정책 | 이름, 댓글 , 작성일자, Snowflake 태그, 소유자, 유형, 정책 본문, 스키마, 데이터베이스 |
Snowflake 테이블 사용량 정보 수집 및 테이블 사용량 조사 기간 일 옵션을 활성화하여 수집기를 실행하면 다음과 같은 추가 정보가 카탈로그화됩니다.
| 객체 | 카탈로그화된 정보 |
|---|---|
| 테이블 | 쿼리 수 |
데이터 품질 메트릭에 대한 다음 추가 정보는 데이터 메트릭 함수 정보 수집 옵션을 활성화하여 수집기를 실행하면 카탈로그됩니다.
| 객체 | 카탈로그화된 정보 |
|---|---|
| 데이터 메트릭 기능 |
|
| 테이블 |
|
Streamlit 앱 정보 수집 옵션을 활성화한 상태에서 수집기를 실행할 때 다음 추가 정보가 카탈로그화됩니다.
| 객체 | 카탈로그화된 정보 |
|---|---|
| Snowflake Streamlit 앱 |
|