Configurar entradas de dados (Splunk)

Versão de lançamento: Xanadu

Atualizado 1 de ago. de 2024

6 min. de leitura

Configure uma entrada de dados para transmitir mensagens de log para sua instância ServiceNow usando um encaminhador pesado Splunk. A configuração de entrada de dados é uma etapa essencial na configuração da aplicação Análise de logs de integridade (HLA).

Antes de Iniciar

Importante:

Análise de logs de integridade não é compatível com IPv6. Para trabalhar com a aplicação, configure o MID Server para IPv4.

Certifique-se de que um MID Server esteja instalado e configurado com a capacidade de ingestão de log habilitada.
Se o endereço IP MID Server for exposto pela conversão de endereço de rede (NAT), um balanceador de carga ou um dispositivo semelhante, ele deverá ter um endereço IP público. Nas propriedades MID Server, adicione uma propriedade chamada mid.public_ip com o endereço IP público como o valor. Para obter mais informações, consulte Criar uma propriedade do MID Server.
Para obter informações sobre como enviar seus logs criptografados usando SSL TLS, consulte o artigo Streaming de dados com Rsyslog e Filebeat usando SSL [KB0866319] na Base de conhecimento Now Support.

Configure Splunk para encaminhar logs para sua instância ServiceNow usando o Syslog.
A configuração desta entrada de dados pressupõe a existência de uma variável de ambiente chamada $SPLUNK_HOME. Em ambientes do tipo Unix, essa variável normalmente aponta para /opt/splunk.
Nota:
O ambiente Windows usa a mesma estrutura de diretórios, mas com barras invertidas (\).

Função necessária: evt_mgmt_admin

Por Que e Quando Desempenhar Esta Tarefa

Este procedimento de configuração é para transmitir logs para sua instância usando um encaminhador pesado Splunk. Se você não puder usar um encaminhador pesado, poderá usar um encaminhador universal. Para obter mais informações, consulte o artigo Encaminhador universal do Splunk como método de envio [KB0961378] na Base de conhecimento do Now Support.

Nota:

Um MID Server inativo pode causar um bloqueio no pipeline Splunk. Uma fila de processamento cheia não afeta o pipeline.

Nota:

Todos os arquivos de configuração do Splunk estão localizados na pasta $SPLUNK_HOME/etc/system/local/. Se um arquivo de configuração que você precisa modificar não existir, crie-o e salve-o nesta pasta.

Procedimento

Navegar até Todos > Análise de logs de integridade > Entrada de dados > Entradas de dados.
Na página Entradas de dados, selecione Novo.
Escolha a entrada de dados Splunk.
Na guia Introdução, preencha os campos do formulário.
Para obter uma descrição dos campos, consulte Splunk campos de configuração de entrada de dados.
Na guia Saídas.conf, adicione os seguintes parâmetros ao arquivo saídas.conf para fazer com que o remetente encaminhe os dados de log sobre o protocolo de transporte selecionado na porta selecionada e selecione Avançar.

Nota:
Se você já configurou as saídas, mescle essas linhas com a configuração existente.
- Encaminhamento por TCP:
  Nota:
  Use o primeiro parâmetro somente se você ainda não tiver configurado um parâmetro tcpout. O segundo parâmetro é necessário para encaminhar para Análise de logs de integridade sobre TCP.
```
[tcpout]
indexAndForward = 1
defaultGroup = nothing

[tcpout:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
sendCookedData = false
compressed = false
```
- Encaminhando por UDP:
  
  Nota:
  Use o primeiro parâmetro somente se você ainda não tiver configurado um parâmetro syslog. O segundo parâmetro é necessário para encaminhar para Análise de logs de integridade sobre UDP.
```
[syslog]defaultGroup = nothing

[syslog:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
```
Na guia Props.conf, edite o arquivo props.conf e selecione Avançar.
1. Modifique os parâmetros existentes ou adicione parâmetros para marcar tipos de origem, serviços de aplicações e hosts para encaminhamento para Análise de logs de integridade.
  Nota:
  Para obter melhores resultados, marque somente tipos de origem para encaminhamento.
  Ao adicionar estrofes, use os seguintes formatos de nome:
  
  Tipos de origem: [<source type>]. Por exemplo: [syslog]
  
  Origens (não recomendado): [source::<source>]. Por exemplo, [source::myApp]
  
  Hosts (não recomendados): [host::<host> ]. Por exemplo, [host::10.9.8.7]
2. Adicione a seguinte linha ao final de cada parâmetro que você deseja encaminhar para Análise de logs de integridade em TCP ou UDP.
  - Encaminhamento por TCP:
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla
  - Encaminhamento por UDP:
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
    Esta linha aplica a transformação CLONE_SOURCETYPE nos dados para impedir que a manipulação necessária para o processamento de Análise de logs de integridade afete o pipeline de dados existente. Por exemplo, para enviar todos os logs do tipo de origem "syslog" para Análise de logs de integridade:
    [syslog] #existing configuration goes here TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
3. Adicione o seguinte parâmetro para aplicar todas as transformações relevantes necessárias para o processamento de Análise de logs de integridade.
  Nota:
  Splunk O permite anonimizar dados confidenciais no tipo de origem clonado para o protocolo selecionado. Para obter mais informações, consulte a seção "Dados anônimos" na documentação do Splunk.
  - Encaminhamento por TCP:
    [send_to_hla_tcp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
  - Encaminhamento por UDP:
    [send_to_hla_udp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

Na guia Transforms.conf, adicione os seguintes parâmetros ao arquivo transforms.conf e selecione Avançar.

O terceiro parâmetro clona os logs para manipulação adicional sem afetar a indexação existente. Os enunciados restantes adicionam as informações necessárias para habilitar o processamento Análise de logs de integridade correto.

Nota:

Você pode ofuscar dados confidenciais adicionando uma transformação aqui e modificando o parâmetro do tipo de origem clonado no arquivo props.conf.

[accepted_keys]
#Custom field for preserving sourcetype
hla_sourcetype_preservation=_hla_sourcetype

#Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
[clone_for_hla_store_sourcetype]
SOURCE_KEY = MetaData:Sourcetype
REGEX = ^sourcetype::(.+)$
FORMAT = hla_sourcetype::$1
DEST_KEY = _hla_sourcetype

[clone_for_hla]
REGEX=.
DEST_KEY = _TCP_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_tcp

#Only used in case of UDP forwarding
[clone_for_hla_udp]
REGEX=.
DEST_KEY = _SYSLOG_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_udp

#Add metadata to the log message, since metadata is lost when forwarding externally
[health_log_analytics_add_sourcetype]
SOURCE_KEY = _hla_sourcetype
REGEX = ^hla_sourcetype::(.+)$
FORMAT = sourcetype="$1"] $0
DEST_KEY = _raw

[health_log_analytics_add_host]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = host="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_source]
SOURCE_KEY = MetaData:Source
REGEX = ^source::(.+)$
FORMAT = source="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_syslog5424]
REGEX=.
FORMAT = - - [sdid@1234 $0
DEST_KEY = _raw

[health_log_analytics_add_index]
SOURCE_KEY = _MetaData:Index
REGEX = ^(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_syslogHost]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_time]
SOURCE_KEY = _time
REGEX = ^(.+)$
FORMAT = <182>1 $1 $0
DEST_KEY = _raw

Na guia Concluir.conf, reinicie Splunk executando o comando $SPLUNK_HOME/bin/splunk restart splunkd.
Selecione Salvar.
Análise de logs de integridade adiciona o registro de entrada de dados à tabela Entradas de dados.
Certifique-se de que a entrada de dados esteja configurada corretamente selecionando Testar conexão.

Análise de logs de integridade tenta conectar o MID Server ao repositório de dados.
- Se a conexão tiver sido estabelecida, o botão Testar conexão será desativado e o botão Publicar será habilitado.
- Se a conexão falhar, o motivo da falha será exibido no campo Mensagem de erro. Este campo é exibido somente quando ocorre um erro de fluxo.
  Resolva o problema, selecione Salvar se você modificou a configuração e selecione Testar conexão para testar a conexão novamente.
  
  Nota:
  Você só pode publicar a configuração de entrada de dados quando a conexão é criada com sucesso.
Nota:
Você pode reverter para a última configuração publicada selecionando Reverter mudanças. Esta opção está disponível somente quando você está modificando uma configuração que foi publicada anteriormente.
Selecione Publicar para publicar a entrada de dados no MID Server.

Resultado

O processo de configuração de entrada de dados está concluído. Análise de logs de integridade adiciona o registro de entrada de dados à tabela Entradas de dados e anexa o arquivo de configuração ao registro de entrada de dados. A entrada de dados começa a transmitir dados de log para sua instância ServiceNow usando um remetente Splunk.

O que Fazer Depois

Certifique-se de que a entrada de dados seja de fluxo de dados.