IntegrationHub ETL (3.2)

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 7 Minuten Lesedauer
  • Verwenden Sie die Store-App IntegrationHub ETL, um ETL-Transformationszuordnungen zu erstellen und zu verwalten, die Daten von Drittanbietern in die CMDB oder in Nicht-CMDB-Tabellen integrieren, ohne die Integrität der Daten zu beeinträchtigen. IntegrationHub ETL bietet eine vereinfachte Benutzeroberfläche, die Sie durch den End-to-End-Integrationsprozess führt, einschließlich einer Testintegrationsausführung mit Beispieldaten.

    Das Plugin „IntegrationHub ETL“ (sn_int_studio) bietet die IntegrationHub ETL-Funktionalität.

    Apps im Store anfordern

    Besuchen Sie die ServiceNow Store-Website, um alle verfügbaren Apps anzuzeigen und Informationen zum Senden von Anforderungen an den Store zu erhalten. Kumulative Informationen zum Release für alle veröffentlichten Apps finden Sie in den Release-Hinweisen zum ServiceNow Store-Versionsverlauf.

    Erforderliche Rollen

    Benutzer mit der Rolle „cmdb_inst_admin“ können IntegrationHub ETL verwenden, um Integrationen zu erstellen, oder eine bereits vorhandene Integration anpassen, die von ServiceNow oder einem Lieferanten bei ServiceNow Storebereitgestellt wird. Ein Lieferant kann eine neue Integration erstellen und sie als Anwendung bereitstellen, die von jedem verwendet werden kann.

    Unterstützung für Nicht-CMDB-Tabellen

    Ab Release Washington DC unterstützt IntegrationHub ETL die Integration von Drittparteidaten in einige Nicht-CMDB-Tabellen. IntegrationHub ETL unterstützt die Nicht-CMDB-Tabellen, die von Identification and Reconciliation (IRE) unterstützt werden. Weitere Informationen dazu, welche Nicht-CMDB-Tabellen unterstützt werden und welche Konfiguration erforderlich ist, finden Sie unter IRE-Support für Nicht-CMDB-Tabellen.

    Unterstützte Nicht-CMDB-Tabellen sind in IntegrationHub ETL verfügbar, wenn Klassen, bedingte Klassen, Klassenzuordnungen und Referenzquellen in Zuordnungsdefinitionen angegeben werden. Es gibt jedoch einige Unterschiede zwischen der Verwendung von CMDB-Klassen und Nicht-CMDB-Tabellen in IntegrationHub ETL:
    • Die Angabe von Klassenzuordnungen ist für Nicht-CMDB-Tabellen nicht obligatorisch.
    • Das Hinzufügen von Beziehungen gilt nicht für Nicht-CMDB-Tabellen.
    • Klassenzuordnungen für eine Nicht-CMDB-Tabelle basieren auf einem Referenzfeld anstelle einer CMDB-Beziehung.
    Hinweis:
    Obwohl die ETL-Benutzeroberfläche von IntegrationHub und die zugehörige Dokumentation auf CMDB- und CMDB-Elemente verweisen, gelten die meisten dieser Verweise auch für unterstützte Nicht-CMDB-Tabellen.

    Prozess

    Die beiden wichtigsten Komponenten, die IntegrationHub ETL für die Verarbeitung verwendet, sind:
    • Robuste Transformations-Engine (RTE): Wird verwendet, um Rohquelldaten, die in Bereitstellungstabellen gespeichert sind, in Daten umzuwandeln, die zugeordnet und in die CMDB integriert werden. RTE verwendet ETL-Transformationszuordnungen, die für die Integration während der Datentransformation erstellt wurden.
    • Identification and Reconciliation Engine (IRE): Wird als zentralisiertes Framework für Identifizierungs- und Abgleichprozesse über verschiedene Datenquellen hinweg verwendet. IRE-Prozesse helfen bei der Aufrechterhaltung der Datenintegrität in der CMDB und in unterstützten Nicht-CMDB-Tabellen.

    IntegrationHub ETL verwendet RTE und IRE, die zusammenarbeiten, um Daten zu verarbeiten und zu integrieren. Daten werden zuerst aus einer Datenquelle importiert und dann in temporären Staging-Tabellen in Import Set-Systemen gespeichert. Unter Verwendung der Daten in den Bereitstellungstabellen und der von IntegrationHub ETL erstellten ETL-Transformationszuordnung erstellt RTE IRE-Nutzlasten, die dann von IRE verarbeitet werden. IRE wendet Abgleichprozesse an, um potenzielle Probleme wie doppelte CIs zu vermeiden, sicherzustellen, dass die CMDB- oder Nicht-CMDB-Tabellen fehlerfrei bleiben, und integriert dann die resultierenden Daten.

    Wenn Sie eine Integration erstellen, importieren Sie Quelldaten, transformieren Daten bei Bedarf und wählen Ziel-CMDB-Klassen (oder Nicht-CMDB-Tabellen) und Attribute aus, denen die Daten zugeordnet werden sollen. Schließlich führen Sie einen Integrationstest der Beispieldaten mit Ihren Einstellungen in IntegrationHub ETL durch. Sie können dann eine Vorschau der Integrationstestergebnisse anzeigen und alle Einstellungen anpassen, bevor Sie wiederkehrende Integrationsausführungen für große Datensätze planen. Wenn Sie die ETL-Transformationszuordnung in einer Entwicklungsinstanz entwickeln und testen, können Sie die Konfiguration vor der Implementierung in einer Produktionsinstanz testen und anpassen.

    Beispielsweise können Sie Daten aus SCCM (Microsoft System Center Configuration Manager) integrieren.

    Auf der Community-Seite IntegrationHub-Extraktionstransformationslast (IH-ETL) ist GA im ServiceNow Store finden Sie eine Übersicht über IntegrationHub ETL, einschließlich der Komponenten und des Workflows.

    Geführtes Setup

    Ein Guided Setup organisiert alle Aufgaben in der richtigen Reihenfolge, verfolgt den Abschluss von Aufgaben und erzwingt alle Aufgabenabhängigkeiten. Aufgaben, die vom Abschluss anderer Aufgaben abhängen, werden aktiviert oder deaktiviert, wenn Sie das Tool durchlaufen und Aufgaben abschließen.

    Schreibgeschützter Modus

    Beim Öffnen eines Service Graph Connector, in dem IntegrationHub ETL keine eingehenden Daten aus der Datenquelle erkennt, ist die Integration im schreibgeschützten Modus verfügbar. Im schreibgeschützten Modus können Sie auf der Seite „ETL-Transformationszuordnungsassistent“ auf alle Guided Setup-Aufgaben zugreifen. Sie können alle Einstellungen und Definitionen in der Integration untersuchen, auch wenn sie nicht mit tatsächlichen Daten ausgefüllt ist. Sie können jedoch keine Aktualisierungen an einer schreibgeschützten Verbindung vornehmen.

    Der schreibgeschützte Modus ist nützlich, um eine vorhandene Verbindung zu untersuchen und eine neue Verbindung zu erstellen, die der schreibgeschützten Verbindung ähnelt. Der schreibgeschützte Modus kann auch bei der Behebung von Problemen mit der Verbindung helfen.

    IntegrationHub ETL und Import Sets

    Die Verwendung von IntegrationHub ETL und ETL-Transformationszuordnungen bietet gegenüber der Verwendung von Importsätzen und Transformationszuordnungen die folgenden Vorteile:
    • Identification and Reconciliation Engine (IRE)-Prozesse sind in IntegrationHub ETL integriert, sodass alle Daten im Rahmen der Integration automatisch von IRE verarbeitet werden. Die Verwendung von Import Sets und Transformationszuordnungen bietet keine einfache Möglichkeit, IRE-Prozesse anzuwenden.
    • IntegrationHub ETL verwendet ein Guided Setup, das Anleitungen und eine einfache Benutzeroberfläche für den gesamten Prozess der Integration von Daten von Drittparteien bietet.
    • IntegrationHub ETL enthält einen Integrationstest für einen kleinen Datensatz mit der neuen ETL-Transformationszuordnung. Mit diesem Test können Sie die Ergebnisse überprüfen und die Konfigurationseinstellungen anpassen, bevor Sie wiederkehrende Integrationen planen.

    Bedingungen

    Die folgenden Begriffe sind der IntegrationHub ETL zugeordnet:
    CMDB-Anwendung
    Name des Drittanbieters, z. B. SCCM 2019. Einer CMDB-Anwendung sind zwei Attribute zugeordnet: Name und Discovery Source. Stellen Sie beim Erstellen einer neuen Integration sicher, dass Sie eine Erkennungsquelle für die CMDB-Anwendung konfigurieren, die Sie verwenden möchten, bevor Sie IntegrationHub ETL verwenden.
    Datenquelle
    Der Quell-Feed, z. B. SCCM 7.0-Computeridentität, aus dem die Rohquelldaten importiert werden. Wenn Sie verschiedene REST-Endpunkte für verschiedene Datentypen verwenden, wird jeder REST-Endpunkt einer eigenen Datenquelle und einer ETL-Transformationszuordnung zugeordnet.
    ETL-Transformationszuordnung
    Die von IntegrationHub ETL generierte Ausgabe. Sie können Daten von Drittanbietern in die CMDB oder in Nicht-CMDB-Tabellen integrieren, indem Sie eine ETL-Transformationszuordnung verwenden, die für die jeweilige Integration konfiguriert ist.
    Quelldaten
    Ursprüngliche Rohdaten, die in IntegrationHub ETL importiert wurden. Quelldaten können in ihrer ursprünglichen Form verwendet werden, oder Sie können die Daten vor der Zuordnung und Integration umwandeln.
    Umwandeln
    Ein Vorgang, den Sie auf eine bestimmte Datenspalte anwenden können, um die Datenwerte umzuwandeln. Beispielsweise um das Format der Datenwerte umzuwandeln. Verwenden Sie Transformationen, um Datenformate zu standardisieren und andere Systemanforderungen zu erfüllen.
    Transformierte Daten
    Einige der Quelldaten entsprechen möglicherweise nicht den Anforderungen ihrer Ziel-CMDB-Attribute und -Klassen oder Nicht-CMDB-Tabellen. In diesen Fällen können Sie verschiedene Arten von Transformationen auf die Quelldaten anwenden, bevor Sie die Daten den Ziel-CMDB-Klassen und -Attributen oder Nicht-CMDB-Tabellen zuordnen. Transformationen, können beispielsweise Datenformate konvertieren, Werte ersetzen und Werte aus mehreren Datenspalten verketten.

    Jede CMDB-Anwendung kann mehrere Verbindungen zum Abrufen von Rohdaten haben. Jede Verbindung, die zum Abrufen eines bestimmten Datentyps verwendet wird, verfügt über ein eigenes Paar aus Datenquelle und ETL-Transformationszuordnung. Daher kann eine CMDB-Anwendung über mehrere ETL-Transformationszuordnungen verfügen, und jede dieser ETL-Transformationszuordnungen ist einer einzelnen Datenquelle zugeordnet.

    Beispiel:
    CMDB-Anwendung ETL-Transformationszuordnung Datenquelle
    SCCM SCCM-Computer identifizieren /sccm/2019/comp
    SCCM-Datenträger /sccm/2019/disk
    SCCM-Anwendung /sccm/2019/appl

    Geschachtelte Datennutzlasten

    Um geschachtelte Datennutzlasten zu verarbeiten, müssen Sie zuerst sicherstellen, dass die Datenquelle, die für die Integration verwendet wird, mit der Option Daten in einzelner Spalte festgelegt ist. Mit dieser Einstellung können Sie verschachtelte Daten in einer JSON-Nutzlast korrekt darstellen, die IntegrationHub ETL dann als verschachtelte Daten und nicht als flache Daten verarbeitet.

    Beispiel für verschachtelte Daten:
    {
                "u_computer_fqdn": "computer2-fqdn",
                "u_computer_id": 2,
                "u_computer_ip": "computer2-ip",
                "u_computer_location": "PDX",
                "u_computer_mac": "computer2-mac",
                "u_computer_name": "nested-payload-computer2",
                "u_computer_os": "computer2-os",
                "interfaces": [
                    {
                        "u_interface_ip": "computer2-eth1-ip",
                        "u_interface_mac": "computer2-eth1-mac",
                        "u_interface_name": "computer2-eth1",
                        "ip": ""
                    },
                    {
                        "u_interface_ip": "computer2-eth2-ip",
                        "u_interface_mac": "computer2-eth2-mac",
                        "u_interface_name": "computer2-eth2",
                        "ip": {
                            "u_ip_address": "computer2-eth2-ip",
                            "u_mac_address": "computer2-eth2-mac"
                        }
                    }
                ],
                "software": [
                    {
                        "u_software_name": "computer2-software2",
                        "u_software_version": "computer2-software2-1.0",
                        "instance": {
                            "u_software_instance_name": "computer2-software1-instance"
                        }
                    },
                    {
                        "u_software_name": "computer2-software2",
                        "u_software_version": "computer2-software2-2.0",
                        "instance": {
                            "u_software_instance_name": "computer2-software2-instance"
                        }
                    }
                ]
            },
    
    Sie können die Ebenen verschachtelter Daten in einem separaten Bereich in IntegrationHub ETL anzeigen, Transformationen anwenden, zuordnen und diese Daten in die CMDB integrieren.
    Beim Erstellen einer verschachtelten Daten-JSON-Nutzlast gelten die folgenden Einschränkungen:
    • Feldnamen müssen mit einem Buchstaben (zwischen AZ oder az) oder mit „_“ beginnen und dürfen nur Buchstaben (zwischen AZ oder az), Ziffern (0–9) oder das Zeichen „_“ enthalten.

      Beispielsweise darf ein Feldname keine Sonderzeichen wie *, [,], #, $, Leerzeichen und Punkt enthalten.

    • Feldnamen können nicht „temp“ oder „object“ sein, da sie für die interne Verwendung reserviert sind.
    • Während der gesamten Nutzlast müssen Sie ein Array oder ein Objekt verwenden, um Daten auf einer bestimmten Ebene darzustellen, unabhängig von der Anzahl der Elemente auf der Ebene. Wenn Sie ein Array für mehrere Elemente in einem Objekt verwenden, müssen Sie auch ein Array verwenden, um ein einzelnes Element in anderen Objekten darzustellen.

    Eine Demo zum Arbeiten mit geschachtelten Nutzlastdaten finden Sie im Demovideo zur Funktion „ Integrations-Hub – ETL für geschachtelte Nutzlast “ im YouTube-Kanal von ServiceNow.