Noções básicas Análise de logs de integridade

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 3 min. de leitura
  • Análise de logs de integridade prevê problemas de TI antes que eles afetem os usuários. A aplicação ajuda a resolver problemas mais rapidamente, coletando, entendendo e correlacionando dados de log gerados por máquina em tempo real. Ele descobre qualquer desvio do comportamento normal conforme acontece e alerta sobre possíveis problemas.

    Análise de logs de integridade recebe e processa logs por meio da aplicação MID Server e envia eventos para a aplicação ServiceNow Gestão de eventos.

    Dados que Análise de logs de integridade pode processar

    Análise de logs de integridade pode lidar com qualquer tipo de dados de log textual gerados por máquina. Ele pode processar logs de aplicativo, infraestrutura e rede, bem como outros tipos de dados de log textuais. Embora um Configuration Management Database (CMDB) possa ser útil para gerar eventos e alertas de alta qualidade, ele não é necessário.
    Nota:
    Análise de logs de integridade não é compatível com logs binários e logs UTF-8.

    Arquitetura

    Análise de logs de integridade coleta logs transmitidos para sua instância ServiceNow de endpoints ou data lakes, como Splunk e Elasticsearch. A instância recebe os logs por meio da instância do conector do MID Server. Análise de logs de integridade identifica e faz a triagem de anomalias nos dados de log usando modelos de aprendizado de máquina (ML) não supervisionados. Em seguida, ele agrupa as anomalias e aplica algoritmos adicionais para ajudar a identificar a causa raiz do problema.

    A figura a seguir mostra uma configuração usando Rsyslog, Splunk, Filebeat e Elasticsearch.

    Figura 1. Arquitetura do Log Analytics de integridade
    Arquitetura do Log Analytics de integridade.

    Fluxo de trabalho

    Análise de logs de integridade coleta e processa dados de log automaticamente. Ele estrutura os dados de forma lógica para os operadores analisarem e gera alertas e sugestões significativas que são exibidas em Gestão de eventos.

    O diagrama mostra o fluxo de trabalho Análise de logs de integridade desde a coleta de dados até o envio de um evento ou alerta para Gestão de eventos.

    Figura 2. Fluxo de trabalho do Análise de logs de integridade
    Fluxo de trabalho do Análise de logs de integridade: ingestão - Estruturação - Aprimoramento - Análise - ML e IA - Alerta na Gestão de eventos
    Ingestão
    Esta camada conecta seu ambiente a Análise de logs de integridade. Você pode transmitir seus logs diretamente de servidores e endpoints ou de repositórios de logs. A configuração assistida opcional ajuda a criar conectores de entrada de dados para as seguintes fontes de dados comuns:
    • Rsyslog
    • Beats
    • Splunk
    • Elasticsearch
    • MID Server
    • TCP
    Estruturação
    Esta camada lida com a estruturação dos dados de log e o mapeamento automático para silos lógicos, chamados de Componentes. A estruturação de dados pode ser feita automaticamente ou manualmente.
    O sistema estrutura automaticamente os dados de log extraindo as seguintes propriedades das mensagens de log recebidas: Mensagem, Carimbo de data/hora, Host, Severidade e IDs externos. Ele extrai valores explícitos, como "property-name" e "value is IP". e semânticos, como tamanho, número de palavras em inglês e variância.
    O mapeamento automático atribui amostras de log e metadados aos marcadores apropriados automaticamente. O sistema tenta mapear linhas de log analisando a origem que transmite os dados. O mapeamento é baseado em dicas do agente e campos de cabeçalho de transporte comuns.
    Enriquecimento
    Esta camada lida com a identificação das partes variáveis de uma mensagem de log.
    Figura 3. Fluxo de trabalho do Análise de logs de integridade - Aprimoramento
    Fluxo de trabalho do Análise de logs de integridade - Aprimoramento.
    Ele também identifica palavras-chave e propriedades contextuais. Na imagem, "AVISO" e "Falha" são as palavras-chave a serem rastreadas. "Usuário", "IP de origem" e "porta" são as propriedades contextuais.
    Análise
    Nesta camada, cada linha de log é indexada. Análise de logs de integridade extrai propriedades da mensagem de log interno que contribuem para modelos de comportamento que o sistema aprende a esperar. O comportamento anômalo difere deste comportamento esperado. Você pode pesquisar um evento e suas propriedades mais significativas para triagem manual.
    Aprendizado de máquina (ML) e Inteligência Artificial (IA)
    Análise de logs de integridade O usa algoritmos avançados de aprendizado de máquina não supervisionado para descobrir padrões em logs e aprender seu comportamento exclusivo de dados. Em seguida, ele define limites dinâmicos com base na assinatura de dados em tempo real para detectar problemas quando eles ocorrem pela primeira vez. Quando o sistema detecta um desvio do padrão típico, ele envia um evento para Gestão de eventos.
    Alerta em Gestão de eventos
    Análise de logs de integridade envia eventos para Gestão de eventos. Em Gestão de eventos, Análise de logs de integridade alertas aparecem na lista Todos os alertas. Esta lista permite que os operadores vejam alertas do evento e o tipo de alerta Análise de logs de integridade em um único local.