Transformadores robustos do conjunto de importação

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 2 min. de leitura
  • Use transformadores de conjunto de importação robustos em vez de mapas de transformação se quiser extrair, transformar e carregar dados em uma ou mais tabelas de destino.

    Transformadores robustos do conjunto de importação versus mapas de transformação

    Os mapas de transformação definem o mapeamento dos dados importados armazenados em uma tabela de preparação para uma única tabela de destino no Now Platform. Os mapas de transformação também inserem dados em tabelas de destino, executando as funções de transformação e de processamento. Você pode definir vários mapeamentos de tabela com vários mapas de transformação.

    O Mecanismo de Transformação Robusta (RTE) e o transformador robusto do conjunto de importação separam as funções de transformação e de processamento, fornecendo uma alternativa mais flexível para mapas de transformação. O transformador de conjunto de importação robusto permite extrair dados de uma tabela de origem para uma estrutura de dados intermediária. Você pode transformar os dados conforme desejado e carregá-los em uma ou mais tabelas de destino. Os registros são processados como lotes para melhorar o desempenho.

    Com mapas de transformação, se você quiser que os dados da tabela de origem vão para três tabelas de destino diferentes, você deve criar três mapas de transformação separados. Cada mapa de transformação analisa os dados separadamente, o que resulta em três operações de leitura separadas. Por outro lado, o transformador de conjunto de importação robusto requer apenas uma única operação de leitura para preparar os dados para três tabelas de destino. O transformador de conjunto de importação robusto é mais eficiente, especialmente ao lidar com várias tabelas de destino.

    Extrair carga de transformação (ETL)

    Quando você usa o transformador de conjunto de importação robusto, a funcionalidade Extrair carga de transformação (ETL) transfere os dados importados para as tabelas de destino. Você define como os dados são extraídos, transformados e carregados em uma ou mais tabelas de destino. Você pode usar definições de ETL para fazer o seguinte:

    • Defina entidades (uma abstração semelhante a tabelas).
    • Defina os campos da entidade (uma abstração semelhante aos campos da tabela).
    • Defina o mapeamento entre entidades e, opcionalmente, designe se um mapeamento específico deve ser ignorado durante a integração de dados.
    • Defina mapeamentos de campo de entidade.
    • Defina as operações da entidade.

    Para obter uma visão geral das definições de ETL, consulte Visão geral da definição de Extrair carga de transformação (ETL). Para obter um guia passo a passo sobre como criar definições de ETL, consulte Criar definições de carga de transformação de extração (ETL).

    A partir da versão Paris, as definições de ETL também oferecem suporte a estruturas de dados aninhados, como a seguinte, quando a fonte de dados tem cargas JSON/XML em uma única coluna.
    {
       "records":[
          {
             "network":{
                "location":"San Diego",
                "computers":[
                   {
                      "id":"C100",
                      "os":"Mac",
                      "disks":[
                         {
                            "size":"200GB",
                            "type":"SSD"
                         },
                         {
                            "size":"1TB",
                            "type":"Magnetic"
                         },
                         {
                            "size":"1TB",
                            "type":"Magnetic"
                         }
                      ]
                   },
                   {
                      "id":"C200",
                      "os":"Windows",
                      "disks":[
                         {
                            "size":"5TB",
                            "type":"Magnetic"
                         }
                      ]
                   }
                ]
             }
          }
       ]
    }