Como lidar com falhas de importação em recursos grandes do GCP
Gerencie a falha da fonte de dados ao importar recursos da GCP.
Ao importar recursos grandes da GCP, as fontes de dados no Conector do Service Graph para GCP podem falhar se a uma resposta REST direta exceder o limite de 1024 MB. Para obter mais informações, consulte REST step.
Você pode usar uma ou mais das seguintes opções para lidar com o erro de limitação de tamanho da resposta REST no Conector do Service Graph para GCP:
Salvar a resposta como um anexo
Com o recurso de salvar resposta como um anexo, a resposta de cada fonte de dados é temporariamente armazenada como um anexo que, depois que a resposta é lida, é automaticamente excluído. O recurso de salvar resposta como anexo é ativado por padrão e acionado pela propriedade do sistema sn_gcp_integ.save_rest_response_as_attachment.
Como usuário com a função de administrador, você pode desativar o recurso de salvar resposta como um anexo definindo a propriedade sn_gcp_integ.save_rest_response_as_attachment como falso. Quando o recurso está desativado e o tamanho da resposta está dentro do limite, as fontes de dados são executadas normalmente.
Modificar o tamanho do lote
Por padrão, o tamanho máximo do lote da variável de ambiente para uma fonte de dados é definido como 100 registros. Você pode reduzir ou aumentar o tamanho do lote com base no volume de dados. Para gerenciar o tamanho do lote de uma fonte de dados, você precisa adicionar uma propriedade do sistema do tipo inteiro para a fonte de dados conforme descrito na tabela a seguir.
| Fonte de dados | Propriedade do sistema |
|---|---|
| Banco de Dados em nuvem do SG-GCP | sg_gcp_cloud_db_batch_size |
| Função de Nuvem do SG-GCP | sg_gcp_cloud_function_batch_size |
| Armazenamento de Objetos em Nuvem do SG-GCP | sg_gcp_object_storage_batch_size |
| Cluster do Kubernetes SG-GCP | sg_gcp_kubernetes_cluster_batch_size |
| Função de cluster do Kubernetes SG-GCP | sn_gcp_integ.sg_gcp_kubernetes_cluster_role_batch_size |
| Vinculação de função de clusters do Kubernetes SG-GCP | sn_gcp_integ.sg_gcp_kubernetes_cluster_role_binding_batch_size |
| Implantação da rede Kubernetes SG-GCP | sg_gcp_kubernetes_deployment_batch_size |
| Namespace do Kubernetes SG-GCP | sg_gcp_kubernetes_namespace_batch_size |
| Nó do Kubernetes SG-GCP | sg_gcp_kubernetes_node_batch_size |
| Pod do Kubernetes do SG-GCP | sg_gcp_kubernetes_pod_batch_size |
| Replicaset do Kubernetes SG-GCP | sg_gcp_kubernetes_replicaset_batch_size |
| Serviço do Kubernetes SG-GCP | sg_gcp_kubernetes_service_batch_size |
| SG-GCP - Balanceador de carga | sg_gcp_load_balancer_batch_size |
| SG-GCP - Serviço de integridade do balanceador de carga | sg_gcp_lb_health_service_batch_size |
| SG-GCP - Grupo de balanceadores de carga | sg_gcp_lb_pool_batch_size |
| SG-GCP - Membro do grupo de balanceadores de carga | sg_gcp_lb_pool_member_batch_size |
| SG-GCP - Serviço do balanceador de carga | sn_gcp_integ.sg_gcp_lb_service_batch_size |
| Rede do SG-GCP | sg_gcp_network_batch_size |
| Pool de nós do Kubernetes SG-GCP | sn_gcp_integ.sg_gcp_kubernetes_node_pool_batch_size |
| Grupo de segurança do SG-GCP | sg_gcp_security_group_batch_size |
| Inventário de Software SG-GCP | sg_gcp_software_inventory_batch_size |
| Volume de armazenamento do SG-GCP | sg_gcp_storage_volume_batch_size |
| Snapshot de volume de armazenamento do SG-GCP | sg_gcp_storage_vol_snapshot_batch_size |
| Sub-rede do SG-GCP | sg_gcp_subnet_batch_size |
| Instância de VM do SG-GCP | sg_gcp_vm_instance_batch_size |