Configurar entradas de dados (Splunk)

Versão de lançamento: Washingtondc

Atualizado 1 de fev. de 2024

6 min. de leitura

Configure uma entrada de dados para transmitir mensagens de log para sua instância ServiceNow usando um encaminhador pesado Splunk.

Antes de Iniciar

Importante:

Análise de logs de integridade não é compatível com IPv6. Para trabalhar com a aplicação, configure o MID Server como IPv4.

Você deve ter um instalado e configurado MID Server com a capacidade de ingestão de log habilitada.
Se o endereço IP MID Server for exposto pela tradução de endereço de rede (NAT), um balanceador de carga ou um dispositivo semelhante, ele deverá ter um endereço IP público. Nas propriedades MID Server, adicione uma propriedade chamada mid.public_ip com o endereço IP público como o valor. Para obter mais informações, consulte Criar uma propriedade do MID Server.
Para obter informações sobre como enviar seus logs criptografados usando SSL TLS, consulte o artigo Fluxo de dados com Rsyslog e Filebeat usando SSL [KB0866319] na Base de conhecimento Now Support.

Configure Splunk para encaminhar logs para sua instância ServiceNow usando o Syslog.
A configuração desta entrada de dados pressupõe a existência de uma variável de ambiente chamada $SPLUNK_HOME. Em ambientes semelhantes ao Unix, essa variável normalmente aponta para /opt/splunk.
Nota:
O ambiente Windows usa a mesma estrutura de diretórios, mas com barras invertidas (\).

Função necessária: evt_mgmt_admin

Por Que e Quando Desempenhar Esta Tarefa

Este procedimento de configuração é para transmitir logs para sua instância usando um encaminhador pesado Splunk. Se você não puder usar um encaminhador pesado, poderá usar um encaminhador universal. Para obter mais informações, consulte o artigo Encaminhador universal Splunk como método de envio [KB0961378] na Base de conhecimento do Now Support.

Nota:

Um MID Server que está inativo pode causar um bloqueio no pipeline Splunk. Uma fila de processamento cheia não afeta o pipeline.

Nota:

Todos os arquivos de configuração do Splunk estão localizados na pasta $SPLUNK_HOME/etc/system/local/. Se um arquivo de configuração que você precisa modificar não existir, crie-o e salve-o nesta pasta.

Procedimento

Navegar até Todos > Análise de logs de integridade > Entrada de dados > Entradas de dados.
Na página Entradas de dados, selecione Novo.
Escolha a entrada de dados Splunk.
Na guia Introdução, preencha os campos do formulário.
Para obter uma descrição dos campos, consulte Splunk campos de configuração de entrada de dados.
Na guia Saídas.conf, adicione os seguintes parâmetros ao arquivo saídas.conf para fazer com que o remetente encaminhe os dados de log pelo protocolo de transporte selecionado na porta selecionada e selecione Avançar.

Nota:
Se você já configurou saídas, mescle essas linhas com a configuração existente.
- Encaminhamento por TCP:
  Nota:
  Use o primeiro parâmetro somente se você ainda não tiver configurado um parâmetro tcpout. O segundo parâmetro é necessário para encaminhar para Análise de logs de integridade sobre TCP.
```
[tcpout]
indexAndForward = 1
defaultGroup = nothing

[tcpout:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
sendCookedData = false
compressed = false
```
- Encaminhando por UDP:
  
  Nota:
  Use o primeiro parâmetro somente se você ainda não configurou um parâmetro syslog. O segundo parâmetro é necessário para encaminhar para Análise de logs de integridade pelo UDP.
```
[syslog]defaultGroup = nothing

[syslog:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
```
Na guia Props.conf, edite o arquivo props.conf e selecione Avançar.
1. Modifique os parâmetros existentes ou adicione parâmetros para marcar tipos de origem, serviços de aplicações e hosts para encaminhar para Análise de logs de integridade.
  Nota:
  Para obter melhores resultados, marque somente os tipos de origem para encaminhamento.
  Ao adicionar sub-rotinas, use os seguintes formatos de nome:
  
  Tipos de origem: [<source type>]. Por exemplo: [syslog]
  
  Origens (não recomendado): [source::<source>]. Por exemplo, [source::myApp]
  
  Hosts (não recomendados): [host::<host> ]. Por exemplo, [host::10.9.8.7]
2. Adicione a linha a seguir ao final de cada parâmetro que você deseja encaminhar para Análise de logs de integridade por TCP ou UDP.
  - Encaminhamento por TCP:
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla
  - Encaminhamento por UDP:
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
    Esta linha aplica a transformação CLONE_SOURCETYPE aos dados para impedir que a manipulação necessária para o processamento de Análise de logs de integridade afete o pipeline de dados existente. Por exemplo, para enviar todos os logs do tipo de origem "syslog" para Análise de logs de integridade:
    [syslog] #existing configuration goes here TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
3. Adicione o seguinte parâmetro para aplicar todas as transformações relevantes necessárias para o processamento de Análise de logs de integridade.
  Nota:
  Splunk permite anonimizar dados confidenciais no tipo de origem clonado para o protocolo selecionado. Para obter mais informações, consulte a seção "Anonimizar dados" na documentação do Splunk.
  - Encaminhamento por TCP:
    [send_to_hla_tcp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
  - Encaminhamento por UDP:
    [send_to_hla_udp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

Na guia Transforms.conf, adicione os seguintes parâmetros ao arquivo transforms.conf e selecione Avançar.

O terceiro parâmetro clona os logs para manipulação adicional sem afetar a indexação existente. Os parâmetros restantes adicionam as informações necessárias para habilitar o processamento Análise de logs de integridade correto.

Nota:

Você pode ofuscar dados confidenciais adicionando uma transformação aqui e modificando o parâmetro do tipo de origem clonado no arquivo props.conf.

[accepted_keys]
#Custom field for preserving sourcetype
hla_sourcetype_preservation=_hla_sourcetype

#Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
[clone_for_hla_store_sourcetype]
SOURCE_KEY = MetaData:Sourcetype
REGEX = ^sourcetype::(.+)$
FORMAT = hla_sourcetype::$1
DEST_KEY = _hla_sourcetype

[clone_for_hla]
REGEX=.
DEST_KEY = _TCP_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_tcp

#Only used in case of UDP forwarding
[clone_for_hla_udp]
REGEX=.
DEST_KEY = _SYSLOG_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_udp

#Add metadata to the log message, since metadata is lost when forwarding externally
[health_log_analytics_add_sourcetype]
SOURCE_KEY = _hla_sourcetype
REGEX = ^hla_sourcetype::(.+)$
FORMAT = sourcetype="$1"] $0
DEST_KEY = _raw

[health_log_analytics_add_host]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = host="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_source]
SOURCE_KEY = MetaData:Source
REGEX = ^source::(.+)$
FORMAT = source="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_syslog5424]
REGEX=.
FORMAT = - - [sdid@1234 $0
DEST_KEY = _raw

[health_log_analytics_add_index]
SOURCE_KEY = _MetaData:Index
REGEX = ^(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_syslogHost]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_time]
SOURCE_KEY = _time
REGEX = ^(.+)$
FORMAT = <182>1 $1 $0
DEST_KEY = _raw

Na guia Concluir.conf, reinicie Splunk executando o comando $SPLUNK_HOME/bin/splunk reiniciar splunkd.
Selecione Salvar.
Análise de logs de integridade adiciona o registro de entrada de dados à tabela Entradas de dados.
Certifique-se de que a entrada de dados esteja configurada corretamente selecionando Testar conexão.

Análise de logs de integridade tenta conectar o MID Server ao repositório de dados.
- Se a conexão tiver sido estabelecida, o botão Testar conexão será desativado e o botão Publicar será habilitado.
- Se a conexão falhar, o motivo da falha será exibido no campo Mensagem de erro. Este campo é exibido somente quando ocorre um erro de streaming.
  Resolva o problema, selecione Salvar se você modificou a configuração e selecione Testar conexão para testar a conexão novamente.
  
  Nota:
  Você só pode publicar a configuração de entrada de dados quando a conexão é criada com sucesso.
Nota:
Você pode reverter para a última configuração publicada selecionando Reverter mudanças. Esta opção está disponível somente quando você está modificando uma configuração que foi publicada anteriormente.
Selecione Publicar para publicar a entrada de dados no MID Server.

Resultado

A entrada de dados começa a transmitir mensagens de log para sua instância usando um remetente Splunk.

Nota:

Se o Análise de logs de integridade mecanismo de IA estiver inativo e os dados pararem de ser transmitidos, uma notificação será exibida na parte superior da página de configuração de entrada de dados. Quando isso acontecer, entre em contato com o suporte do ServiceNow.

O que Fazer Depois

Certifique-se de que a entrada de dados seja de dados de fluxo.