Amazon S3 campos de configuração de entrada de dados

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 5 min. de leitura
  • Descrição dos campos no formulário de configuração de entrada de dados Amazon S3.

    Configuração básica

    Campo Descrição
    Nome Nome da nova entrada de dados. Este campo é obrigatório.
    Descrição Descrição da entrada de dados.
    Executar nos(as) Opção para determinar se um MID Server específico deve ser usado ou um cluster de MID Server.

    Este recurso é compatível com a aplicação Análise de logs de integridade, versão 26.0.17 - fevereiro de 2023 e posterior, disponível na ServiceNow Store.

    MID

    (Somente quando o campo Executar em estiver definido como MID Server específico)

    MID Server para o qual os dados de log de Amazon S3 são extraídos.
    Nota:
    • Você pode selecionar somente MID Servers que oferecem suporte à autenticação básica. MID Servers que oferecem suporte a mTLS não estão listados.
    • O número máximo padrão de logs de fluxo de entradas de dados para um único MID Server é 10. Você pode modificar este número nas propriedades do MID Server.
    • Se a ingestão de log não estiver habilitada para o MID Serverselecionado, Análise de logs de integridade a habilitará automaticamente.
    Este campo é obrigatório.
    Cluster do MID Server

    (Somente quando o campo Executar em estiver definido como Cluster de MID Server específico)

    O cluster do MID Server para o qual os dados do log são extraídos.

    A entrada de dados é executada em um único MID Server no cluster até que esse MID Server falhe. O sistema move todas as tarefas de entrada de dados para o próximo MID Server disponível no cluster de acordo com a ordem configurada.

    Este recurso é compatível com a aplicação Análise de logs de integridade, versão 26.0.17 - fevereiro de 2023 e posterior, disponível na ServiceNow Store.

    Nota:
    • O Análise de logs de integridade oferece suporte somente a clusters de failover do MID Server. Nesses clusters, vários MID Servers são agrupados para proteção de failover. Ao selecionar um cluster no formulário de entrada de dados, a lista Clusters do MID Server exibe somente clusters de failover.
    • O cluster do MID Server deve incluir somente MID Servers que ofereçam suporte à autenticação básica. O mTLS não é compatível com a ingestão de log.
    • A ingestão de log deve ser habilitada para cada MID Server no cluster. Se a ingestão de log não estiver habilitada para o MID Server ativo, o Análise de logs de integridade a habilitará automaticamente.
    • O número máximo padrão de logs de fluxo de entradas de dados para um único MID Server é 10. Um cluster passa na validação de capacidade se contiver pelo menos um MID Server com menos de 10 entradas de dados em execução, mesmo quando esse MID Server estiver inativo.
    Para obter mais informações sobre clusters do MID Server, consulte Configurar um cluster do MID Server.

    Este campo é obrigatório.

    Serviço de aplicações O serviço de aplicativos ao qual os dados de log serão vinculados.
    Nota:
    Se não houver nenhum serviço de aplicações relevante, Criar um Serviço de aplicações e adicionar ICs a ele. Defina o status do novo serviço de aplicativos como Operacional.
    Este campo é obrigatório.

    Os seguintes campos mostram informações somente leitura:

    Campo Descrição
    Status Status da entrada de dados.
    Transporte Protocolo usado para transmitir os dados do log.

    Esta entrada de dados usa Amazon S3 para transmitir dados de log para sua instância.

    Contagem de fontes o número de origens de log que esta entrada de dados criou.
    Desativado desde Hora em que a entrada de dados parou ou falhou.
    Hora do último log Hora em que o último log foi transmitido na entrada de dados.
    Mensagem de erro O erro de streaming.

    Este campo é preenchido automaticamente. Exibe somente quando ocorre um erro de streaming.

    Tabela 1. Guia Configurações de consulta
    Campo Descrição Exemplo
    De/para Datas e horas de início e término da leitura dos dados.
    • De: dados anteriores a esta data e hora não são lidos.
      Nota:
      Definir este valor como uma data passada pode exigir que o sistema leia grandes quantidades de dados, causando congestão.
    • Para: os dados mais recentes que esta data e hora não são lidos. Para dados dinâmicos, defina esta data no futuro.
    Este campo é obrigatório.
    De: Now -1 week

    Para: 2300-01-01 15:59:59

    Nome do bucket O bucket Amazon S3 para transmitir.

    Este campo é obrigatório.

    my-s3-bucket
    Prefixo Prefixo dos objetos a serem obtidos. A entrada de dados busca somente objetos que começam com este prefixo. Este campo é normalmente usado para buscar somente pastas específicas em um bucket. /somente/esta/pasta/
    Incluir Arquivo ou objeto a ser incluído quando o sistema executar a correspondência de padrões. .*include-me.*
    Excluir Arquivo ou objeto a ser excluído quando o sistema executar a correspondência de padrões. .*ignore-me.*
    Tabela 2. Guia Transporte
    Campo Descrição
    Credenciais AWS Campo que se refere à lista de credenciais da AWS (aws_credentials.list). A lista contém as chaves de acesso secretas e de acesso da AWS.
    Região da AWS A região da AWS onde o bucket Amazon S3 está localizado, por exemplo, us-west-1.

    Para obter uma lista de regiões da AWS, consulte https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions-availability-zones.html#concepts-regions

    Este campo é obrigatório.

    Configuração avançada

    Tabela 3. Formulário de configuração avançada
    Campo Descrição Valor-padrão
    Anônimo Opção para forçar o acesso ao bucket Amazon S3 sem credenciais, ignorando as credenciais padrão, se houver. Falso
    Percorrer Opção para acessar cada diretório no bucket. Falso
    Objeto classificado pela hora da última modificação Opção para buscar objetos se os objetos no bucket forem classificados por tempo. Falso
    Tempo limite de conexão O número de milissegundos de espera antes de expirar a tentativa de estabelecer uma conexão com a AWS. 100
    Tamanho do Threadpool O número de threads simultâneos que estão baixando arquivos do bucket. 1
    Tamanho do buffer Tamanho do buffer de download, em bytes. 100 MB
    Tempo limite do soquete O número de milissegundos de espera antes de expirar o tempo limite da transferência de dados em uma conexão estabelecida. 10000
    Máximo de tentativas para arquivo O número máximo de vezes para tentar novamente o processamento do arquivo em caso de falha. 10
    Fuso horário padrão O fuso horário padrão se o log não incluir informações de fuso horário. UTC
    Proporção de soltura de subamostra O número de eventos a serem agrupados em lote, dos quais um será descartado. Esta configuração é usada para reduzir o número de eventos obtidos. -1
    Taxa de recebimento de subamostra O número de eventos a serem agrupados em lote, dos quais todos, exceto um, serão descartados. Esta configuração é usada para diminuir o número de eventos recebidos. -1
    Limite de taxa O número máximo de eventos por segundo que esta entrada de dados processa. -1
    Tamanho máximo em bytes O tamanho máximo, em bytes, dos eventos. 32766
    Codificação de caracteres A codificação de caracteres para esta entrada de dados. UTF-8
    Intervalo de espera O intervalo, em segundos, para aguardar antes de consultar novamente depois que uma consulta não retornou eventos. 60
    Intervalo de Pesquisa O intervalo, em segundos, de espera antes de pesquisar novos eventos. 0
    Descartar se a fila estiver cheia Opção para selecionar o descarte de logs se houver uma carga no MID Server. Falso