.webp)
Für eine effiziente Datentransformation ist es unerlässlich, den Lebenszyklus von Code in Dataform zu verstehen. Durch die Konfiguration der Kompilierungs- und Ausführungseinstellungen können Sie Dataform an Ihre spezifischen Anforderungen anpassen. Ganz gleich, ob es um die Verwaltung von Entwicklungsarbeitsplätzen, die Planung von Workflow-Ausführungen oder die Definition von Kompilierungsüberschreibungen geht, Dataform bietet eine umfassende Plattform für die effektive Verwaltung des Codelebenszyklus.
In unseren vorherigen Artikeln der Reihe „Erstellen einer Datenpipeline mit Dataform in BigQuery“ habe ich das behandelt Grundlagen von Dataform und seine Integration mit BigQuery von GCP. In dieser Ausgabe werde ich Sie durch den Prozess der Erstellung von Releasekonfigurationen und Workflow-Konfigurationen in Dataform für die geplante Ausführung führen und Ihnen so die Möglichkeit geben, Ihre Datenverarbeitung zu automatisieren und zu optimieren.
Lass uns eintauchen!
Erstellen einer Release-Konfiguration in Dataform
Versionskonfigurationen in Dataform bieten einen leistungsstarken Mechanismus für die Konfiguration und Ausführung von SQL-Workflows nach einem Zeitplan. Durch das Erstellen von Releasekonfigurationen können Sie Kompilierungseinstellungen definieren und die Häufigkeit der Generierung von Kompilierungsergebnissen festlegen. Sehen wir uns die Schritte an, die zum Erstellen von Release-Konfigurationen erforderlich sind.
Was sind Release-Konfigurationen?
Bevor wir fortfahren, wollen wir uns ein klares Bild von Release-Konfigurationen machen. Wenn Sie SQL-Workflows in Dataform entwickeln, wird der SQL-Code kompiliert, was zu einer Kompilierungsausgabe führt. Versionskonfigurationen bieten die Flexibilität, die Kompilierungseinstellungen anzupassen und Ausführungsumgebungen wie Staging oder Produktion einzurichten.
Eine Release-Konfiguration erstellen
Lassen Sie uns nun unseren Fokus auf die Erstellung der Release-Konfiguration verlagern. In dieser Phase werden die notwendigen Parameter und Spezifikationen für den Release-Prozess eingerichtet. Wir definieren die Schritte und Anforderungen, um eine reibungslose und erfolgreiche planmäßige Ausführung zu gewährleisten.
Um eine Release-Konfiguration in Dataform einzurichten, können Sie die folgenden Schritte ausführen:
- Navigiere in deinem Repository zum Abschnitt Release-Konfigurationen.
- Klicken Sie auf die Schaltfläche „Neue Releasekonfiguration“.
- Konfigurieren Sie im Bereich „Versionskonfiguration erstellen“ die Release-Einstellungen:
- Geben Sie im Feld „Release-ID“ eine eindeutige ID für die Release-Konfiguration ein.
- Geben Sie den Git-Branch oder den Commit-SHA für das Release im Feld „Git Commitish“ an. Wenn Ihr Dataform-Repository nicht mit einem Remote-Repository verbunden ist, lautet der Wert normalerweise „main“.
- Wählen Sie im Dropdownmenü „Häufigkeit“ die Häufigkeit aus, mit der Kompilierungsergebnisse erstellt werden.
- Wenn du die in dataform.json definierten Standardeinstellungen für alle Workspaces in deinem Repository überschreiben möchtest, konfiguriere die Kompilierungsüberschreibungen:
- Geben Sie die Google Cloud-Projekt-ID ein, in der Sie das Kompilierungsergebnis speichern möchten.
- Geben Sie ein Suffix an, das an das in dataform.json konfigurierte Schema angehängt werden soll.
- Geben Sie ein Präfix für alle Tabellennamen ein.
- Optional können Sie Kompilierungsvariablen festlegen, indem Sie auf die Schaltfläche „Variable hinzufügen“ klicken und die Schlüssel-Wert-Paare angeben.
- Klicken Sie auf die Schaltfläche „Erstellen“, um die Release-Konfiguration zu erstellen.
Herzlichen Glückwunsch! Sie haben erfolgreich eine Release-Konfiguration in Dataform erstellt, mit der Sie SQL-Workflows nach einem Zeitplan konfigurieren und ausführen können. Indem Sie die Kompilierungseinstellungen definieren und die Häufigkeit der Erstellung der Kompilierungsergebnisse planen, können Sie die Ausführung Ihres Workflows automatisieren.
Planung von SQL-Workflow-Ausführungen mit Workflow-Konfigurationen
Dataform bietet eine leistungsstarke Funktion namens Workflow-Konfigurationen, mit der Sie die Ausführung von SQL-Workflows planen und konfigurieren können. Mit Workflow-Konfigurationen können Sie die Ausführung von Dataform SQL-Workflows nach einem Zeitplan Ihrer Wahl automatisieren. Lassen Sie uns untersuchen, wie Workflow-Konfigurationen erstellt und verwaltet werden.
Was sind Workflow-Konfigurationen?
Workflow-Konfigurationen in Dataform ermöglichen es Ihnen, die Ausführung von SQL-Workflow-Aktionen zu planen. Indem Sie eine Workflow-Konfiguration erstellen, können Sie eine Konfiguration für die Kompilierung auswählen, SQL-Workflow-Aktionen auswählen und den Ausführungsplan definieren.
Workflow-Konfiguration erstellen
Lassen Sie uns nun zum nächsten Schritt unserer Reise übergehen und eine Workflow-Konfiguration in Dataform erstellen. Diese Konfiguration wird eine wichtige Rolle bei der Organisation und Verwaltung der Ausführung unserer SQL-Workflows spielen. Durch die Einrichtung einer Workflow-Konfiguration können wir die Ausführung unserer Dataform SQL-Workflows gemäß unserem gewünschten Zeitplan automatisieren und optimieren.
Lassen Sie uns in den Prozess eintauchen und eine Workflow-Konfiguration erstellen, die unseren Anforderungen entspricht.
- Gehe in deinem Repository zum Abschnitt Workflow-Konfigurationen.
- Klicken Sie auf die Schaltfläche „Neue Workflow-Konfiguration“.
- Geben Sie im Bereich „Workflow-Konfiguration erstellen“ die erforderlichen Details ein.
- Konfigurations-ID: Geben Sie eine eindeutige ID für die Workflow-Konfiguration ein.
- Release-Konfiguration: Wählen Sie eine Konfiguration für die Kompilierungsversion aus dem Drop-down-Menü aus.
- Häufigkeit: Geben Sie die Häufigkeit der Ausführungen im Unix-Cron-Format an. Stellen Sie sicher, dass zwischen der Erstellung der Kompilierungsergebnisse und der geplanten Ausführungszeit eine Pause von mindestens 1 Stunde eingehalten wird.
- Zeitzone: Wählen Sie die gewünschte Zeitzone für Ausführungen aus (Standard ist UTC).
- Wählen Sie je nach Ihren Anforderungen auszuführende SQL-Workflow-Aktionen aus:
- Um den gesamten SQL-Workflow auszuführen, wählen Sie „Alle Aktionen“.
- Um bestimmte Aktionen auszuführen, wählen Sie „Auswahl von Aktionen“ und wählen Sie die gewünschten Aktionen aus der Liste aus.
- Um Aktionen auf der Grundlage von Tags auszuführen, wählen Sie „Auswahl von Tags“ und wählen Sie die entsprechenden Tags aus.
- Wählen Sie nach Bedarf weitere Optionen aus:
- Abhängigkeiten einbeziehen: Führt ausgewählte Aktionen oder Tags zusammen mit ihren Abhängigkeiten aus.
- Angehörige einbeziehen: Führt ausgewählte Aktionen oder Tags zusammen mit ihren Angehörigen aus.
- Mit vollständiger Aktualisierung ausführen: Erstellen Sie alle Tabellen während der Ausführung von Grund auf neu (standardmäßig werden inkrementelle Tabellen aktualisiert, ohne sie neu zu erstellen).
- Klicken Sie auf die Schaltfläche „Erstellen“, um die Workflow-Konfiguration zu erstellen.
Unterschiede zwischen Release- und Workflow-Konfigurationen
Sowohl Releasekonfigurationen als auch Workflow-Konfigurationen in Dataform dienen zwar dem Zweck, die Ausführung von SQL-Workflows zu verwalten, weisen jedoch deutliche Unterschiede in Bezug auf ihre Funktionalität und Anwendungsfälle auf.
Kurz gesagt, Releasekonfigurationen befassen sich hauptsächlich mit den Kompilierungseinstellungen und der Planung der Kompilierungshäufigkeit, während sich Workflow-Konfigurationen auf die Planung der Ausführung von SQL-Workflow-Aktionen, die Verwaltung von Abhängigkeiten und die Angabe des Ausführungszeitplans konzentrieren. Wenn Sie diese Konfigurationen zusammen verwenden, können Sie Ihre Datenverarbeitungspipelines effektiv automatisieren.
Reihenfolge der Terminierung
Wie bereits erwähnt, bestimmt die Release-Konfiguration die Kompilierungseinstellungen und generiert die Kompilierungsergebnisse für die SQL-Workflows. Indem Sie zuerst die Release-Konfiguration planen, schaffen Sie eine solide Grundlage, auf die sich die nachfolgenden Workflow-Konfigurationen verlassen können. Die Workflow-Konfiguration legt den Ausführungsplan fest und definiert, welche SQL-Workflow-Aktionen ausgeführt werden sollen. Sie stützt sich auf die von der Release-Konfiguration generierten Kompilierungsergebnisse, um die SQL-Workflows korrekt auszuführen.
Hier ist ein Beispiel zur Veranschaulichung der Planung von Release- und Workflow-Konfigurationen:
In diesem Beispiel soll die Release-Konfiguration mit der ID „DailyCompilation“ jeden Tag um 8:00 Uhr in der UTC-Zeitzone ausgeführt werden. Die Kompilierungsergebnisse werden während dieses Vorgangs generiert.
Die Workflow-Konfiguration mit der ID „DailyWorkflow“ soll täglich um 9:00 Uhr in der UTC-Zeitzone ausgeführt werden. Dieser Prozess basiert auf den Kompilierungsergebnissen der Release-Konfiguration und führt die angegebenen SQL-Workflow-Aktionen auf der Grundlage des Zeitplans aus.
Wenn Sie dieser Reihenfolge folgen, sind die Kompilierungsergebnisse verfügbar, bevor die Workflow-Ausführung beginnt. Dadurch wird sichergestellt, dass der Workflow den aktuellsten kompilierten Code für seine Aktionen verwendet.
Fazit
In diesem Artikel wurde untersucht, wie Freigabe- und Workflow-Konfigurationen in Dataform für die geplante Ausführung erstellt werden. Versionskonfigurationen ermöglichen es Ihnen, die Kompilierungseinstellungen anzupassen und Ausführungsumgebungen zu erstellen, während Workflow-Konfigurationen es Ihnen ermöglichen, SQL-Workflow-Ausführungen zu organisieren und zu automatisieren. Durch die Nutzung dieser Funktionen können Sie die Ausführung Ihres Workflows optimieren und die Produktivität maximieren.
Weitere Links
Folge uns auf LinkedIn für Einblicke in unsere tägliche Arbeit und wichtige Updates zu BigQuery, Data Studio und Marketing Analytics.
Abonniere unseren YouTube-Kanal für Diskussionen zu DWH, BigQuery, Looker Studio und Google Tag Manager.
Wenn Sie BigQuery von Grund auf lernen möchten, erhalten Sie Zugriff auf unsere kostenloser BigQuery-Kurs
Verbessern Sie Ihre Fähigkeiten mit Google Data Studio und BigQuery, indem Sie sich für unser Udemy-Kurs.
Benötigen Sie Hilfe bei der Einrichtung eines modernen, kostengünstigen Data Warehouse oder eines analytischen Dashboards? Senden Sie uns eine E-Mail an hello@datadice.io um einen Anruf zu vereinbaren.
