ストリームコネクトでメッセージと Kafka トピックレプリケーションを作成する
メッセージとトピックレプリケーションをセットアップして、Apache Kafka 環境と ServiceNow の間でデータを複製します。
始める前に
- 必要なロール:message_replication_admin
- この機能には サブスクリプションが必要です。詳細については、「Apache Kafka のストリームコネクトの使用」を参照してください。
- Hermes メッセージングサービスとインスタンス PKI 証明書ジェネレーターが機能していることを確認します。
- Check the status of and connection to the Hermes Kafka cluster。
- Key Management Framework Healthをチェックして、インスタンス PKI セクションの 3 つの項目すべてが動作していることを確認します。
-
MID サーバーまたはMID サーバークラスターを構成して開始します。詳細については、「Configuring MID Servers」と「Configure a MID Server cluster」を参照してください。
MID サーバーは、ファイアウォールを介して Hermes エンドポイントにアクセスできなければなりません。ネットワークアドミニストレーターと協力して、次のポート範囲が開いていることを確認します。- プロデューサー: 4000 ~ 4050
- コンシューマー 1:4100 ~ 4150
- コンシューマー 2:4200 ~ 4250
MID サーバー クラスターを使用している場合は、負荷分散のクラスタータイプである必要があります。フェールオーバー クラスターの種類はサポートされていません。
- ストリームコネクトメッセージレプリケーションは、接続および資格情報エイリアスを使用してローカル Kafka に接続します。[接続タイプ] が [Kafka] のCreate a Connection & Credential alias。接続および資格情報エイリアスには、 Kafka 接続 と Kafka 資格情報が必要です。
- ストリームコネクトメッセージレプリケーションには、ServiceNow Stream Connect Installer [com.glide.hub.stream_connect.installer] プラグインが必要です。
このタスクについて
このページでは、メッセージレプリケーションレコードと関連する Kafka トピックレプリケーションレコードを作成する方法について説明します。
メッセージレプリケーションレコードは、単一の Kafka クラスターを表します。たとえば、2 つの Kafka クラスターがある場合は、クラスターごとに 1 つずつ、合計 2 つの異なるメッセージレプリケーションレコードを作成します。メッセージレプリケーションレコードは、そのクラスターとの間で複製されるすべてのトピックの親レコードです。メッセージレプリケーションレコードは、メッセージレプリケーション [sys_sc_message_replication] テーブルに格納されます。
Kafka トピックレプリケーションレコードは、単一のソーストピックから単一の宛先トピックへのレプリケーションを指定します。単一のソーストピックを複数の宛先に複製することはできません。各宛先への複製は 1 回のみ可能です。Kafka トピックレプリケーションレコードは、Kafka トピックレプリケーション [sys_kafka_topic_replication] テーブルに格納されます。
手順
タスクの結果
すべてのメッセージとトピックのレプリケーションレコードを作成したら、メッセージをレプリケートする必要があります。[メッセージレプリケーション] フォームの [メッセージレプリケーションステータス [sys_sc_message_replication_status] タブで、各メッセージレプリケーションのステータス、 MID サーバー、およびエラーメッセージを表示できます。
Kafka トピックレプリケーションレコードの [チャネルレプリケーションステータス [sys_sc_channel_replication_status] タブで、各トピックレプリケーションのステータスの詳細 ( MID サーバー、 エラーメッセージ、 およびエラー発生時刻 の値など) を表示することもできます。
各 Kafka トピックレプリケーションレコードには、[メッセージレプリケーション統計情報 (Message Replication Statistics)] という名前の関連リストもあります。レプリケーションが実行されると、このリストには、各トピックのレプリケーションに対して 60 秒ごとに作成されるメトリクスレコードが表示されます。各メトリクスレコードには、それぞれの収集間隔で複製されたメッセージの数を示す [メッセージ数] など、トピックレプリケーションに関する情報が含まれています。
次のタスク
ローカルの Kafka から ServiceNow にメッセージをレプリケートする場合は、スクリプト、ETL、または変換マップコンシューマーを構成してメッセージを処理するか、Kafka メッセージトリガーを設定してフローを開始できます。
ServiceNow からローカルの Kafka にメッセージをレプリケートする場合は、ワークフロースタジオの Kafka Producer step を使用するか、ProducerV2 API を使用して、Hermes トピックとローカルの Kafka にメッセージを公開することができます。