스트리밍 연결 퀵 스타트 가이드
이 빠른 시작 안내서는 인스턴스와 Kafka 환경 간에 ServiceNow 데이터를 교환하기 위해 6개의 Stream Connect 생산자와 소비자를 각각 설정하고 사용하는 방법에 대한 개요를 제공합니다.
- 워크플로우 스튜디오의 Kafka 생산자 단계
- ProducerV2 API
- 워크플로우 스튜디오의 Kafka 메시지 트리거
- ETL(변환 로드) 소비자 추출
- 변환 맵 소비자
- 스크립트 소비자
인스턴스를 ServiceNow Kafka 환경에 연결하기 위해 스트림 커넥트 Hermes 메시징 서비스는 . 다음 다이어그램에서는 각 생산자와 소비자, 그리고 이들이 Hermes를 통해 Kafka 환경(여기에 고객 사이트로 표시됨)에 연결하는 방법을 보여줍니다.
자세한 내용은 및 문서를 참조하십시오Apache Kafka용 스트리밍 연결 사용.
시작
고객 사이트를 나타내기 위해 이 가이드에서는 컴퓨터에서 실행되는 명령줄 도구를 사용합니다 Apache Kafka . 이 도구에 사용되는 구성 매개변수는 Kafka 프로토콜을 사용하여 ADCv2(Application Delivery Controller, 버전 2) 게이트웨이에 대한 클라이언트 연결을 구성하는 데 사용할 수 있습니다.
주어진 모든 명령은 OpenSSL 버전(LibreSSL 2.8.3) 및 Apache Kafka 바이너리 배포 버전 kafka_2.13-3.4.0.tgz로 테스트되었습니다. 그러나 모든 명령은 로컬 환경에 있는 모든 버전에서 작동해야 합니다.
빠른 시작 단계
이 빠른 시작 가이드는 5단계로 구성됩니다. 1단계와 2단계에서는 Hermes에 대한 연결을 설정하고 테스트하는 방법을 다룹니다. 3-5단계에서는 데이터를 보내고 받기 위해 각 스트림 커넥트 생산자와 소비자를 구성하고 사용하는 방법을 보여 줍니다.
- ADCv2 게이트웨이는 상호 인증을 사용하여 요청을 인증하므로 첫 번째 단계는 즐겨 사용하는 Kafka 클라이언트와 함께 사용할 키 저장소와 신뢰 저장소를 만드는 것입니다. 다음 페이지에서는 필요한 인증서를 Hermes 메시징 서비스에 대한 보안 연결 설정생성하는 방법을 보여줍니다.
- Hermes에 대한 보안 연결을 설정한 후 ADCv2 게이트웨이를 통해 Hermes에 대한 연결을 테스트하여 키 저장소 및 신뢰 저장소가 올바르게 생성되었는지 확인합니다.
- 이제 할 수 있습니다 Kafka 메시지 트리거 및 스크립트 소비자를 사용하여 메시지 소비. 이 페이지의 첫 번째 부분에서는 Kafka 메시지 트리거 워크플로우 스튜디오 를 사용하여 Kafka에서 메시지를 검색하는 방법을 보여줍니다. 두 번째 부분에서는 스크립트 소비자를 사용하여 메시지를 검색하는 방법을 보여줍니다.
- 그리고 ETL 및 변환 맵 소비자를 사용하여 데이터 임포트. ETL 정의 및 변환 맵은 예약된 임포트를 통해 데이터를 끌어올 때 사용할 변환 논리를 지정합니다. 동일한 ETL 정의 및 변환 맵을 사용하여 Kafka를 통해 수신된 이벤트를 변환할 수 있습니다.주:ETL 소비자를 사용하려면 강력한 임포트 세트 변환기가 필요합니다. 마찬가지로 변환 맵 소비자를 사용하려면 변환 맵이 필요합니다.
- 마지막으로 Kafka 생산자 단계 및 ProducerV2 API를 사용하여 메시지 게시. 이 페이지에서는 Kafka Producer 단계와 워크플로우 스튜디오 ProducerV2 API를 모두 사용하여 Kafka에 메시지를 푸시하는 방법을 보여줍니다.
Hermes 메시징 서비스에 대한 보안 연결 설정
인스턴스 서명 인증서를 생성 ServiceNow® 하여 Kafka 주제를 보호합니다.
시작하기 전에
설정하려면 Hermes 메시징 서비스 네트워크 관리자 및 Kafka 관리자와의 조정이 필요합니다. 네트워크 관리자와 협력하여 필요한 보안 인증서를 얻고 필요한 포트를 엽니다. Kafka 관리자와 협력하여 Kafka 환경이 올바르게 구성되어 있는지, 애플리케이션이 표준 Kafka 프로토콜을 사용하여 연결할 Hermes 메시징 서비스 수 있는지 확인합니다.
다음 설정이 제대로 되어 있는지 확인합니다.
- 이(가) Hermes 메시징 서비스 활성화됩니다. 문서를 참조하십시오.
- Key Management Framework 플러그인(com.glide.kmf.global)이 활성화됩니다.
- 인증서 [sys_kmf_certificate] 테이블에는 인스턴스 루트 CA 인증서가 포함되어 있습니다 ServiceNow .
- 인스턴스가 사용자 지정 URL로 구성되지 않았습니다. 인스턴스 PKI 인증서 생성기에는 사용자 지정 URL이 지원되지 않습니다.
필요한 역할: hermes_admin, sn_kmf.cryptographic_manager 또는 admin
KMF 역할 할당에 대한 자세한 내용은 다음 문서를 참조하십시오 .
프로시저
결과
이제 에 대한 Hermes 메시징 서비스보안 연결을 만들 수 있습니다.
ADCv2 게이트웨이를 통해 Hermes에 대한 연결 테스트
ADCv2 게이트웨이를 통해 Hermes에 대한 연결을 테스트하여 키 저장소와 신뢰 저장소가 올바르게 생성되었는지 확인합니다.
시작하기 전에
- 필요한 역할: integration_hub_admin
프로시저
Kafka 메시지 트리거 및 스크립트 소비자를 사용하여 메시지 소비
Kafka 메시지 트리거 및 스크립트 소비자를 워크플로우 스튜디오 사용하여 Hermes에서 메시지를 검색합니다.
시작하기 전에
- 필요한 역할: integration_hub_admin
- 이 섹션의 첫 번째 부분에서는 에서 Kafka 메시지 트리거 워크플로우 스튜디오 를 사용하여 메시지를 사용하는 방법을 보여줍니다. 이 트리거에 대한 자세한 내용은 다음 문서를 참조하십시오 .
- 이 섹션의 두 번째 부분에서는 스크립트 소비자를 사용하여 메시지를 사용하는 방법을 보여줍니다. 자세한 내용은 스크립트 소비자 구성 문서를 참조하십시오.
프로시저
-
메시지를 사용할 주제를 생성합니다.
-
주제의 메시지를 사용하도록 플로우 트리거를 생성합니다.
-
Kafka 명령줄 도구를 사용하여 주제에 메시지를 게시합니다.
-
주제의 메시지를 사용할 스크립트 소비자를 만듭니다.
ETL 및 변환 맵 소비자를 사용하여 데이터 임포트
ETL 정의 및 변환 맵을 사용하여 Kafka 이벤트를 처리합니다. ETL 정의 및 변환 맵은 예약된 임포트를 통해 데이터를 끌어올 때 사용할 변환 논리를 지정합니다. 동일한 ETL 정의 및 변환 맵을 사용하여 Kafka를 통해 수신된 이벤트를 변환할 수 있습니다.
시작하기 전에
- 필요한 역할: integration_hub_admin
- 이 섹션의 첫 번째 부분에서는 ETL 소비자를 사용하여 메시지를 사용하는 방법을 보여줍니다. ETL 소비자를 사용하려면 강력한 임포트 세트 변환기가 필요합니다.
- 이 섹션의 두 번째 부분에서는 변환 맵 소비자를 사용하여 메시지를 사용하는 방법을 보여줍니다. 변환 맵 소비자를 사용하려면 변환 맵이 필요합니다.
프로시저
-
ETL 및 변환 맵 소비자 메시지를 사용할 주제를 생성합니다.
-
주제에서 데이터를 사용할 ETL 소비자를 생성합니다.
-
topic2에 메시지 게시.
-
데이터를 사용할 변환 맵 소비자를 생성합니다.
-
topic2에 메시지 게시.
Kafka 생산자 단계 및 ProducerV2 API를 사용하여 메시지 게시
Kafka 소비자가 읽을 수 있도록 Hermes로 ServiceNow 데이터를 푸시합니다.
시작하기 전에
- 필요한 역할: integration_hub_admin
- 이 섹션의 첫 번째 부분에서는 Kafka Producer 단계를 워크플로우 스튜디오 사용하여 Hermes에 메시지를 게시하는 방법을 보여줍니다. 이 단계에 대한 자세한 내용은 다음 문서를 참조하십시오 .
- 이 섹션의 두 번째 부분에서는 ProducerV2 API를 사용하여 메시지를 게시하는 방법을 보여줍니다. 자세한 내용은 ProducerV2 API를 참조하세요.
- 모든 메시지를 받으려면 서로 다른 데이터센터에 대해 두 소비자를 실행해야 합니다. 자세한 내용은 문서를 참조하십시오.
프로시저
-
두 소비자가 메시지를 수신하도록 시작합니다.
-
플로우 단계를 사용하여 인스턴스에서 메시지를 게시합니다.
-
스크립트를 사용하여 인스턴스에서 메시지를 게시합니다.