Collecteur de métadonnées Snowflake
Le collecteur de métadonnées Snowflake fournit un accès en lecture seule aux métadonnées à partir d’un compte Snowflake externe.
Le collecteur collecte les métadonnées de Snowflake Data Cloud. Il collecte les objets tabulaires, les objets Horizon tels que les stratégies et les balises, ainsi que les artefacts de qualité des données Snowflake. Il récolte également les fonctions et les procédures stockées. Le collecteur peut collecter des statistiques de colonne et le nombre de requêtes de table. En outre, il peut collecter des métadonnées pour les applications Streamlit.
Métadonnées cataloguées
Le collecteur Snowflake répertorie les informations suivantes.
| Objet | Informations cataloguées |
|---|---|
| Colonne | Nom, commentaires, type de données, peut être nul, valeur par défaut, type de clé (primaire, étrangère) |
| Table | Nom, commentaires, clé primaire, schéma, URL externe (Snowsight) Métadonnées étendues : Est Iceberg, Est dynamique, Est transitoire, Date de création, Date de dernière modification, Dernière mise à jour par (Snowflake LAST_DDL_BY), Propriétaire (rôle Snowflake qui possède la table), Date de modification de la définition, Taille de la table |
| Vue | Nom, commentaires, schéma, URL externe (Snowsight), date de modification de la définition, auteur de la dernière modification (Snowflake LAST_DDL_BY), est iceberg, est dynamique, est temporaire, date de création, date de dernière modification, propriétaire (rôle Snowflake qui possède la table), définition SQL |
| Vue matérialisée | Nom, commentaires, schéma, URL externe (Snowsight), date de modification de la définition, auteur de la dernière modification (Snowflake LAST_DDL_BY), est iceberg, est dynamique, est temporaire, date de création, date de dernière modification, propriétaire (rôle Snowflake qui possède la table) |
| Schéma | Identificateur, nom Métadonnées étendues : commentaires, date de création, mise à jour |
| Base de données | Type, Nom, Identificateur, Serveur, Port, Environnement, URL JDBC Métadonnées étendues : commentaires |
| Fonction définie par l’utilisateur (cela inclut les fonctions définies par l’utilisateur créées dans Snowpark) |
Nom Métadonnées étendues : définition de la fonction, commentaires, date de création, propriétaire (rôle Snowflake), type de fonction Snowflake (type de retour), signature de fonction, langue de la fonction, packages, version d’exécution, mis à jour |
| Procédure stockée (cela inclut les procédures stockées créées dans Snowpark) |
Nom Métadonnées étendues : définition de la fonction, propriétaire (rôle Snowflake), commentaires, type de retour, langue de la fonction, packages, date de création, signature de fonction, type de fonction Snowflake, version d’exécution, mis à jour, type de procédure stockée |
Relations entre les objets
Les métadonnées collectées comprennent des pages de catalogue pour les types de ressources de données suivants. Chaque page de catalogue a une relation avec les autres types de ressources de données connexes.
| Page Actifs de données | Relations |
|---|---|
| Politiques d’accès à la ligne Snowflake | Tables |
| Politiques de masquage Snowflake | Colonnes, valeur de la balise |
| Table | Colonnes, valeur de balise, mesure des données Fonction qui analyse, vues, tables ou fonctions dont la table dépend |
| Balises Snowflake | Valeur de la balise |
| Colonnes | Table, valeur de la balise, valeur de la balise système |
| Vue | Schéma contenant des vues, des colonnes faisant partie de vues, une fonction de mesure de données qui analyse la vue, les vues, les tables ou les fonctions dont la vue dépend |
| Vue matérialisée | Schéma contenant des vues matérialisées, des colonnes faisant partie de vues matérialisées |
| Schéma | Base de données contenant un schéma, une table qui fait partie du schéma, une vue qui fait partie du schéma, une vue matérialisée qui fait partie du schéma, une application Streamlit qui fait partie du schéma |
| Application Streamlit | Schéma qui contient l’application Streamlit |
| Base de données | Schéma contenu dans la base de données |
| Fonction de mesure des données | Table ou vue analysée par cette fonction de mesure de données Snowflake, table, vues, tables ou fonctions dont la fonction dépend |
Traçabilité et dépendances pour Snowflake
Les informations de traçabilité suivantes sont collectées par le collecteur Snowflake. Notez que toute lignée pour les instructions SQL définies via des instructions variables n’est pas prise en charge.
- Toute lignée pour les instructions SQL définies via des instructions variables n’est pas prise en charge.
- Le collecteur trace ces relations depuis les colonnes d’une vue jusqu’aux colonnes de table source ultime à travers les expressions et sous-requêtes SQL.
| Objet | Traçabilité disponible |
|---|---|
| Colonne dans la vue |
Le collecteur identifie la colonne associée dans une vue ou une table en amont :
|
| Fonction définie par l’utilisateur |
Une fonction et :
Vue de référencement d’une vue et d’une fonction |
| Procédure stockée |
Le collecteur identifie :
Remarque : les procédures stockées suivantes ne sont pas prises en charge :
|
Dépendances
Le collecteur Snowflake catalogue les dépendances entre les tables, les vues et les fonctions à l’aide de la vue Utilisation du compte Snowflake OBJECT_DEPENDENCIES. Consultez la documentation Snowflake pour plus d’informations sur la vue OBJECT_DEPENDENCIES.
Si vous incluez des paramètres spécifiques au profilage et à l’échantillonnage lors de l’exécution du collecteur, les informations supplémentaires suivantes sont collectées pour les colonnes.
| Objet | Informations cataloguées |
|---|---|
| Colonne |
|
| Table |
|
Les informations supplémentaires suivantes sont cataloguées lorsque vous exécutez le collecteur avec les options Collecter les informations de politique Snowflake et Collecter les informations de balise Snowflake activées.
| Objet | Informations cataloguées |
|---|---|
| Colonnes | Politiques de masquage Snowflake |
| Balises Snowflake | Nom, valeurs autorisées, commentaires |
| Valeurs des balises Snowflake | Nom, valeur |
| Politiques de masquage Snowflake | Nom, Commentaires, Date de création, Balises Snowflake, Propriétaire, Type, Corps de politique, Schéma, Base de données |
| Politiques d’accès à la ligne Snowflake | Nom, Commentaires, Date de création, Balises Snowflake, Propriétaire, Type, Corps de politique, Schéma, Base de données |
Les informations supplémentaires suivantes sont cataloguées lorsque vous exécutez le collecteur avec les options Collecter les informations d’utilisation de la table Snowflake et Jours de vérification de l’utilisation de la table activées.
| Objet | Informations cataloguées |
|---|---|
| Table | Nombre de requêtes |
Les informations supplémentaires suivantes sur les mesures de qualité des données sont cataloguées lorsque vous exécutez le collecteur avec l’option Collecter les informations de la fonction de mesure des données activée.
| Objet | Informations cataloguées |
|---|---|
| Fonction de mesure des données |
|
| Table |
|
Les informations supplémentaires suivantes sont cataloguées lorsque vous exécutez le collecteur avec l’option Collecter les informations de l’application Streamlit activée.
| Objet | Informations cataloguées |
|---|---|
| Application Snowflake Streamlit |
|