Editar fluxo em Workflow Studio
Edite o fluxo para confirmar se a paginação está implementada corretamente. Isso confirma que os dados foram importados corretamente.
- Nenhum(a)
- Deslocamento
- Baseado em tempo
- Baseado em token
Nenhuma importação em lote
Selecione o método de importação em lote "nenhum" se não quiser usar o método de paginação fornecido em Central de automação. Não há nenhuma etapa necessária aqui.
Importação em lote baseada em deslocamento
Selecione o método de importação em lote baseado em deslocamento (método de paginação) se quiser importar dados usando um ponto de início específico (deslocamento) e um tamanho de lote (limite).
- Desvio: o ponto de partida para importar dados.
- Total de itens: o número total de registros que você deseja importar.
- Limite: o número de registros a serem importados em cada lote.
Por exemplo: se você definir o deslocamento como 20, o total de itens como 200 e o limite como 10, o sistema importará dados em lotes de 10 registros, começando no registro 20 e continuando até que todos os 200 registros sejam importados.
Etapas para configurar
- Na ação Obter blocos de paginação baseados em deslocamento do SourceHub, especifique valores para os campos deslocamento, total de itens e limite e selecione Concluído.
Depois que os valores forem definidos, o campo Chunks_child0 estará disponível no painel direito (em Para cada).
Para a ação selecionada durante a etapa Selecionar ação, mapeie o limite da ação de blocos de paginação baseada em deslocamento do SourceHub e os valores de deslocamento usando a saída do campo Chunks_child0 gerada pela ação de blocos de paginação baseada em deslocamento do SourceHub.
Manipulação de ações que não são compatíveis com limite e deslocamento
Mapeie os valores de limite e deslocamento em sua ação usando a saída retornada pela ação Obter blocos de paginação baseados em deslocamento do SourceHub.
Se a ação selecionada não tiver parâmetros predefinidos para paginação baseada em deslocamento, mas incluir um filtro que possa acomodar esses parâmetros, você poderá fazer o seguinte:
- Opção 1: adicione uma ação imediatamente antes da ação selecionada para lidar com o limite e o deslocamento. Esta ação deve gerar uma consulta que a ação primária pode usar para buscar dados.
- Opção 2: copie sua ação primária, modifique-a para incluir entradas para limite e deslocamento e processe essas entradas para criar uma consulta. Passe esta consulta para o filtro da sua ação original.
Nota:Se você escolher a Opção 2, certifique-se de criar uma cópia da ação original primeiro. Depois de copiar, selecione novamente a ação copiada na etapa Selecionar ação e gere novamente o fluxo. Para obter informações sobre como selecionar uma ação, consulte Selecionar uma ação.- Selecione Concluído e testar.
- Siga as etapas 3 em diante em Configurar importação em lote para dados.
Importação em lote baseada em tempo
Selecione o método de importação em lote baseado em tempo se quiser importar dados para um intervalo de datas específico.
Etapas para configurar
- Na ação Obter blocos de paginação baseada em data do SourceHub, especifique a data de início e a data de término e clique em Concluído.
Depois que os valores são definidos, o campo de intervalo no painel direito fica disponível.
- Para a ação selecionada durante a etapa Selecionar ação, mapeie os valores de data de início e de data de término usando a saída do campo de intervalo gerada pela ação de obtenção de blocos de paginação baseada em data do SourceHub.
Formato de data
O Gerenciador de conexão usa e retorna datas no formato: AAAA:MM:DD:HH:MM:SS. Se sua ação for compatível com intervalos de datas, o formato será aplicado automaticamente.
Manipulação de ações que não são compatíveis com intervalos de datas
Se sua ação não for compatível automaticamente com intervalos de datas, mas incluir um filtro para parâmetros personalizados, você poderá seguir uma dessas abordagens.- Opção 1: adicione uma ação antes da ação selecionada para lidar com a data de início e a data de término. Esta ação deve gerar uma consulta que sua ação primária pode usar para buscar dados.
- Opção 2: copie sua ação primária e modifique-a para incluir entradas para a data de início e a data de término. Processe essas entradas na ação para criar uma consulta e passá-la para o filtro da ação original.Nota:Se você escolher a Opção 2, certifique-se de criar uma cópia da ação original primeiro. Depois de copiar, selecione novamente a ação copiada na etapa Selecionar ação e gere novamente o fluxo. Para obter informações sobre como selecionar uma ação, consulte Selecionar uma ação.
- Selecione Concluído e testar.
- Siga as etapas 3 em diante em Configurar importação em lote para dados.
Importação em lote baseada em token
Selecione o método de importação em lote baseado em token se quiser importar dados usando um token de continuação.
Ao selecionar o método de importação em lote baseado em token na página Configurar importação em lote, você deve fornecer um nome para o token. Este token representa o valor de continuação retornado por sua ação (por exemplo, next_url, next_token ou next). Certifique-se de que o nome do token corresponda exatamente ao que é retornado da ação, incluindo ortografia e capitalização.
Etapas para configurar
- Se o nome do token fornecido estiver correto, a condição temporária o mapeará automaticamente. Se permanecer em branco, arraste manualmente o token de continuação da saída da ação para o campo de condição da lógica de execução temporária.
- Adicione uma variável de fluxo do tipo cadeia de caracteres para armazenar o valor atualizado do token.
- Salve suas mudanças e clique em Concluído.
- Insira uma etapa da lógica Definir variável de fluxo após a ação selecionada. Nesta etapa, defina o valor da variável de fluxo recém-criada para o token de continuação retornado por sua ação. Certifique-se de que este token corresponda ao mapeado para a condição temporária.
- Selecione Concluído e testar.
- Siga as etapas 3 em diante em Configurar importação em lote para dados.