Gleichzeitige Importe
Teilen Sie eingehende Daten in mehrere Importsätze auf und transformieren Sie die Importsätze gleichzeitig, um die Verarbeitungszeit zu reduzieren.
Das Ausführen eines gleichzeitigen Imports kann hilfreich sein, wenn die Reihenfolge keine Rolle spielt und Importe aufgrund großer Datensätze mit zeitaufwendigen Skripts lange dauern. Wenn die Reihenfolge wichtig ist, können Sie den Import in mehrere Partitionen aufteilen, um sicherzustellen, dass jede Partition der Reihe nach verarbeitet wird.
Aktivieren Sie gleichzeitige Importe erst, nachdem Sie alle anderen Parameter wie Datenbankindizes und Transformationen optimiert haben.
Gleichzeitige Importe planen
Sie aktivieren gleichzeitige Importe, indem Sie im Formular „Geplanter Datenimport“ die Option Gleichzeitiger Import auswählen. Anweisungen dazu finden Sie unter Datenimport planen.
Wenn der Zeitplan einen gleichzeitigen Import ausführt, ruft das System die Daten aus Datenbanken, Excel-Tabellen, CSV-Dateien oder anderen Quellen in eine temporäre Bereitstellungstabelle ab und wandelt die Daten dann aus der Bereitstellungstabelle in die Zieltabelle um.
Wenn Sie einen gleichzeitigen Import ausführen, erstellt das System mehrere Importsätze bis zum Wert der Systemeigenschaft glide.scheduled_import.max.concurrent.import_sets (Standard = 10). Zum Beispiel erzeugt ein Zwei-Knoten-Cluster vier Importsätze und ein Zehn-Knoten-Cluster zehn Importsätze.
Importsatz-Transformator-Auftrag
Jeder aktive Knoten führt jede Minute zwei Import Set Transformer-Jobs aus. Diese Jobs fragen die Warteschlange für gleichzeitige Import Sets ab, wählen Import Sets aus der Warteschlange aus und transformieren diese Import Sets. Alle Jobs werden abhängig von der Verfügbarkeit der Worker-Threads gleichzeitig ausgeführt.
Gleichzeitiger Import Set-Datensatz
Jeder gleichzeitige Import erstellt einen Datensatz für einen gleichzeitigen Importsatz. In der Formularansicht werden alle zugehörigen Import Sets, gleichzeitigen Import Set-Jobs und Transformationsverläufe angezeigt.
Sie können jeden Importsatz fortsetzen oder erneut verarbeiten. Weitere Informationen finden Sie unter Überwachen Sie gleichzeitige Importsätze.
Warteschlange für gleichzeitige Import Sets-Aufträge
Nach dem Laden der Daten fügt das System die Import Sets der Tabelle „Gleichzeitige Import Sets-Aufträge“ hinzu. Die Tabelle „Gleichzeitige Importsatz-Aufträge“ gibt den Auftragstyp und den Status jedes gleichzeitigen Importsatz-Auftrags an.
Weitere Informationen finden Sie unter Überwachen Sie gleichzeitige Importsatzaufträge.
Partitionieren von gleichzeitigen Importen
Sie können Import Sets partitionieren, um die Verarbeitungsreihenfolge innerhalb jeder Partition beizubehalten.
Standardmäßig ordnet das System Datensätze den Importsätzen im Round-Robin-Verfahren zu. Sie können jedoch ein benutzerdefiniertes Skript schreiben, um einen benutzerdefinierten Partitionsschlüssel zu definieren, der den Ziel-Importsatz identifiziert. Jede Zeile mit demselben Partitionsschlüssel wird demselben Importsatz hinzugefügt, und die Daten in diesem Importsatz werden der Reihe nach verarbeitet.
Hierarchische Importe
Sie können eine geplante Importsatzhierarchie erstellen, indem Sie einen Import so planen, dass er nach Abschluss eines anderen Importsatzes ausgeführt wird. Ein übergeordneter geplanter Import kann viele untergeordnete geplante Importe haben, und jeder untergeordnete geplante Import wird in der angegebenen Reihenfolge ausgeführt. Bei gleichzeitigen geplanten Importen können untergeordnete geplante Importe erst gestartet werden, nachdem alle Aufträge des Importsatz-Transformators abgeschlossen sind.
Der letzte Importsatz-Transformer-Auftrag startet den nächsten Import in der Hierarchie.
Das System generiert zu Beginn des übergeordneten Importprozesses einen Ausführungsplan. Jeder Importprozess verwendet den Ausführungsplan, um den nächsten aufzurufenden Prozess abzurufen. Bei gleichzeitigen Importen ruft der letzte Import Set Transformer-Auftrag den nächsten Import ab und führt ihn aus.
Synchronisierte Einfügungen
Zusammenfügungsfelder helfen bei der Definition der Eindeutigkeit zwischen Datensätzen. Der Transformationsprozess sucht nach einem vorhandenen Datensatz mit den Zusammenfügungswerten und aktualisiert den vorhandenen Datensatz, falls vorhanden, oder fügt einen neuen Datensatz ein, wenn keiner vorhanden ist. Weitere Informationen finden Sie unter Datensätze werden durch Zusammenfügen aktualisiert.
Standardmäßig können bei gleichzeitigen Importen von jedem ausgeführten Import Set neue Datensätze eingefügt werden. Wenn ein Import Set einen Datensatz einfügt, wird eine Schreibsperre für die Zieltabelle eingerichtet, um zu verhindern, dass andere Import Sets denselben Datensatz einfügen.
Tabellen für gleichzeitige Importe
| Tabelle | Beschreibung |
|---|---|
| Gleichzeitiger Importsatz (sys_concurrent_import_set) | Speichert Details zu jedem gleichzeitigen Importsatz in Importsatz-Datensätzen. |
| Gleichzeitige Importsatzaufträge (sys_concurrent_import_set_job) | Listet die zu verarbeitenden Importsätze auf. |
| Ausführungskontext für geplanten Import (sys_execution_context) | Gibt den Ausführungskontext für jeden geplanten Import an. Der Ausführungskontext gibt den nächsten geplanten Import an, der bei der Verarbeitung eines hierarchischen geplanten Imports verwendet werden soll. |
| Ausführungsplan für hierarchischen geplanten Import (sys_execution_plan). | Speichert den Ausführungsplan für hierarchische Importe. Der Ausführungsplan ist eine Baumstruktur, die angibt, welcher geplante Import nach der vorherigen geplanten Eingabe ausgeführt wird. |
Domänentrennung mit gleichzeitigen Importen
Sie können das Feld sys_domain einer geplanten Importtabelle hinzufügen, um die Domänentrennung für den Importsatz zu aktivieren. Sowohl das Laden von Import Sets als auch Transformationsaufträge werden in der Domäne ausgeführt, die im geplanten Import Set-Auftrag angegeben ist.