Behandeln Sie Google Analytics 4-Daten in BigQuery wie ein Profi

Auf der Suche nach immer mehr Geschäftswerten durch Datenanalysen ist die Integration von Google Analytics in BigQuery eine ziemliche Herausforderung. In diesem Blog werden wir die Herausforderungen bei der Verwendung von Google BigQuery mit GA4-Daten erläutern und auch einfache Lösungen dafür finden. Zuallererst werden wir uns einige wichtige Änderungen durchlesen, die in GA4 vorgenommen wurden, um Universal Analytics zu überarbeiten.

​

• Geräte- und plattformübergreifendes Tracking
• Verschiedene Berichtsoberfläche
• Sogar ein Seitenaufruf wird als Ereignis betrachtet, da GA4 ereignisbasierte Maßnahmen verwendet.
• Die Tracking-ID beginnt mit 'G-'
• Erstellen Sie Datenströme statt Views
• Verschiedene Event-Tracking-Einstellungen
• Eine neue Reihe von Engagement-Metriken
• Standard-IP-Anonymisierungsfunktion

GA4 ist ein TRIUMPH der Datenverfolgung

Google hat GA4 im Herbst 2020 als Ersatz für Universal Web Analytics eingeführt, sodass die Unternehmen nützliche Metriken und KPIs nicht nur mit Web Analytics, sondern auch mit App Analytics analysieren konnten. Obwohl Google 2019 einen neuen Immobilientyp als App+Web ankündigt, ist er für jedes Unternehmen konzipiert, auch für Unternehmen ohne native mobile iOS- oder Android-Anwendung. Um mehr über die Entwicklung von GA4 zu erfahren, lesen Sie bitte Entwicklung von Google Analytics und schauen Sie sich auch die an Unterschied zwischen UA und GA4.

Universal Analytics-Buzz aus

Bis zum 1. Juli 2023 kündigt Google die normale Datenverarbeitung in Universal Analytics-Immobilien an. Nach dem 1. Juli 2023 werden Nutzer jedoch mindestens sechs Monate lang nur auf zuvor verarbeitete Daten im Eigentum von Universal Analytics zugreifen können. Google empfiehlt Nutzern, die vor dem 14. Oktober 2020 Google Analytics-Properties erstellt haben, zwingend zu GA4 Properties zu wechseln. Weitere Informationen finden Sie unter UA geht weg und um zu GA4 zu wechseln.

Ereignisbasiertes Messmodell

Der Hauptunterschied zwischen Universal Analytics und GA4 besteht darin, dass Universal Analytics-Sitzungsaufzeichnungen auf verschiedenen Arten von Treffern wie Seitenaufrufen, Event-Treffern, E-Commerce-Treffern und Treffern aus sozialen Interaktionen basieren. GA4-Daten sind jedoch ereignisbasiert, sodass alle Benutzerinteraktionen als Ereignis erfasst werden.

Ereignisse werden durch die Interaktion oder Aktivität des Benutzers ausgelöst, die mit einem Element ausgeführt wird, das auf Websites und/oder mobilen Apps und/oder Firebase implantiert ist. In GA4 gibt es vier Arten von Ereignissen.

​

• Automatisch gesammelte Ereignisse
• Wie der Name schon sagt, handelt es sich bei diesen Ereignissen um automatisch gesammelte Ereignisse, die von GA4 bei vordefinierten Benutzeraktivitäten ausgelöst werden.

• Verbesserte Messereignisse
• Dieses Ereignis ist dasselbe wie automatisch gesammelte Ereignisse, jedoch mit einem Unterschied in den Aktivierungsoptionen. Diese Ereignisse werden nur protokolliert, wenn der Benutzer sie aktiviert.

• Empfohlene Veranstaltungen
• Empfohlene Ereignisse werden nicht automatisch erfasst oder ausgelöst, es sei denn, der Benutzer implementiert sie manuell.

• Benutzerdefinierte Ereignisse
• Diese Ereignisse werden standardmäßig nicht wie andere Ereignistypen verfolgt, sondern ermöglichen es Benutzern, ihre Ereignisse zu erstellen und zu verwenden. Daher empfiehlt Google Nutzern, vorhandene Ereignisse noch einmal zu überprüfen, ob das Ereignis, das der Nutzer benötigt, bereits existiert oder nicht. Zum Beispiel das Klicken auf eine Schaltfläche, das Anmelden von Veranstaltungen usw.

Weitere Informationen zu Veranstaltungen finden Sie auf der Referenz zu Veranstaltungen Seite.

Schnelle Einrichtung der Integration

Ich gehe davon aus, dass der Leser bereits über Google BigQuery Bescheid weiß und Grundkenntnisse in SQL besitzt. BigQuery spielt eine entscheidende Rolle dabei, den großen Datenspeicher in nützliche Informationen für Geschäftseinblicke umzuwandeln. Google ermöglicht es Nutzern der Cloud-Plattform, die GA4-Analytics-Rohdaten kostenlos in Google BigQuery zu importieren (wenn feste Sandbox-Grenzwerte überschritten werden, fallen Gebühren an).

​​

Bitte lesen Sie dieses Dokument, um BigQuery mit Google Analytics 4 zu verknüpfen

​​

<property_id>Nach dem Import von GA4 in BigQuery speichert Ihr BigQuery-Projekt die importierten GA4-Analytics-Rohdaten in einem Datensatz mit dem Namen „analytics_“, der mehrere Tabellen enthält. Jede Tabelle im Datensatz stellt die Sammlung von Daten für jeden Tag dar. Der Datensatz enthält immer zwei Datentabellen,

​​

• events_ (<number of days>) - Alle Sitzungsdaten der vorherigen sind <number of days>in der Tabelle vorhanden.
• events_ intraday_ (<current date>) - gibt die Sitzungsdaten des aktuellen Tages an.

In der obigen Abbildung ist die Zahl nach analytics_ die Eigenschafts-ID von GA4, wobei der Datensatz aus importierten GA4-Rohdaten besteht und events_ aus täglichen Analysen besteht. Die ersten Events_ (509) enthalten alle Sitzungen der letzten 509 Tage, was bedeutet, dass die Tabelle Daten aus mehr als einem Jahr enthält.

​

Unsere erste Herausforderung besteht darin, alle Analyseereignisse zu konsolidieren, um die wöchentliche, monatliche und sogar jährliche Leistung zu analysieren und zu melden.

Die obige Abfrage ruft Gesamtereignisse (Tage) in GA4 ab, was letztendlich viel Zeit und Platz in Anspruch nimmt. Um Sitzungen bestimmter Tage oder Zeiträume abzufragen, verwenden wir WILDCARD-Abfragen.

Fragen Sie mehrere Ereignisse mit statischem Datum ab

Die obige Abfrage ruft alle Sitzungen zwischen dem 1. Januar 2022 und dem 28. Februar 2022 ab. In GA4-Analytics-Rohdaten wird jede Sitzung nach dem jeweiligen Datum im Format einer Zeichenfolge benannt, die als „Statisches Datum“ bezeichnet wird.

Fragen Sie mehrere Sitzungen mit Dynamic Date ab

Mithilfe dynamischer Daten in einer BigQuery können wir die Informationen für einen bestimmten Zeitraum abrufen, z. B. die letzten 30 Tage, gestern usw.

In der obigen Abfrage verwendet DATE_SUB (CURRENT_DATE (), INTERVAL 30 DAY) das Intervall der letzten 30 Tage ab dem aktuellen Datum (heute) und für DATE_SUB (CURRENT_DATE (), INTERVAL 1 DAY) gibt die Abfrage die Statistiken von gestern an, da das Intervall 1 vom aktuellen Datum entfernt ist.

Fragen Sie mehrere Sitzungen mit einem Hybriddatum ab

BigQuery ermöglicht auch die Verwendung sowohl des statischen als auch des dynamischen Datumsbereichs.

Wir können auch das bevorzugte Datum mit der Option Jahr, Monat und Datum in der BigQuery-Benutzeroberfläche auswählen, wie im folgenden Screenshot gezeigt.

Datenfilteroption in BQ

Jetzt werden wir uns mit der Struktur von GA4-Ereignissen befassen, wobei die Spalte nicht nur einzelne Daten, sondern auch mehrere Datensätze oder Arrays enthält. In der Abbildung unten enthält beispielsweise der Feldname wie event_params, privacy_info, user_properties, geo, app_info, user_ltv, TrafficSource, device usw. eine Dropdownliste.

GA4 Strukturen von Ereignissen

Diese Dropdowns sind das Array verschiedener Unterfelder in jeder der Spalten der Tabelle, wodurch die GA4-Analytics-Datentabelle im JSON-Format erstellt wird. Die JSON-Tabelle besteht aus mehreren Wertdatensätzen in jedem Feld und Unterfeld. Hier sind die speziellen Tipps zum Umgang mit verschachtelten Feldern im GA4-Datensatz.

GA4-Analytics-Datentabelle im JSON-Format

Überblick über die Struktur der GA4-Datentabelle

Wie gehe ich mit wiederholten Datensätzen in SQL um?

Die Lösung ist nichts anderes als das Abflachen der verschachtelten Felder (auch gesagt wie das Entschachteln des verschachtelten Felds), was in Form eines Arrays erfolgt. In der Abbildung oben können Sie die hierarchische Anordnung des verschachtelten Felds oder die wiederholten, datensatzähnlichen events_param auf der zugehörigen Unterfeldseite sehen. <columnname.fieldname.subfieldname>Daher wird das abgeflachte, verschachtelte Feld als () dargestellt. In unserem Beispiel ist es events_param.value.string_value, aber wenn Sie diese Art der Zeigeradressierung direkt in der SQL-Abfrage für wiederholte Datensätze verwenden, gibt BigQuery einen Fehler aus.

Daher verwenden wir UNNEST oder CROSS JOIN UNNEST so, wie BigQuery die erforderlichen Informationen aus dem abgeflachten verschachtelten Feld oder aus wiederholten Datensätzen versteht und abruft. Wenn Sie beispielsweise Analyseinformationen erhalten möchten, die speziell für das Ereignis file_download mit der Erweiterung '.pdf' aufbereitet sind, verwenden Sie 'UNNEST (events_param) AS ep', wobei ep anstelle von events_param wie unten beschrieben verwendet wird.

Die obige Abfrage ruft Ereignis- und Benutzerinformationen wie 'file_download' ab (Liste der heruntergeladenen Dateien mit welcher User_ID und mit welcher Plattform). Das UNNEST macht es möglich, indem es eine neue Spalte events_param.value.string_value als Schlüssel und ihr einzelnes Datenbit als Wert erstellt.

GA4-Tabelle Wiederholte Datensätze in BQ

Für einfache Unterfelder wie Kategorie im Gerät wie in der Abbildung oben können die Feldnamen direkt adressiert werden, indem ihr Spaltenname device gegeben wird. In der folgenden Abfrage wird beispielsweise device.category direkt ohne die Hilfe von UNNEST verwendet, um <fieldname.subfieldname>diesen bestimmten Unterfeldwert Country zu nennen.

Wie gehe ich mit mehreren wiederholten Aufzeichnungen um?

Um mehr als einen wiederholten Datensatz gleichzeitig in der Abfrage zu verwenden, können wir zwei UNNEST einfach in einer Abfrage verbinden, indem wir verschachtelte Felder miteinander verketten.

Im obigen Beispiel möchten wir zwei verschiedene verschachtelte Felder event_params und user_properties entverschachteln, aber BigQuery meldet einen Fehler, wenn Sie beide UNNEST in derselben Abfrage verwenden.

Daher verwenden wir die WITH-Klausel, um mehrere wiederholte Datensätze in BigQuery zu entschachteln. In der obigen Beispielabfrage haben wir für jede UNNEST (event_params) und UNNEST (user_properties) zwei Tabellen erstellt. Diese Abfrage ruft eine Liste aller heruntergeladenen Dateien ab, die von welchem Benutzer in welcher Gerätekategorie, Plattform und welchem Land heruntergeladen wurden. Wie bereits erwähnt, verwendete die Abfrage zwei verschachtelte Felder, indem sie in einer Abfrage miteinander verkettet wurden. Dieselbe WITH-Klausel kann verwendet werden, um mehr als zwei verschachtelte Felder in BigQuery zu verarbeiten.

Die Ausgabe einer obigen Abfrage

Wie konvertiert man ein Datum im String-Typ in ein Datumsformat?

Wie unten angegeben, wird das Datumsfeld vom Typ Zeichenfolge mithilfe von PARSE_DATE in der Abfrage in das richtige Datumsformat konvertiert. <columnname.fieldname.subfieldname>Unter Verwendung des UNNEST-Namens kann das verschachtelte Feld mit der SELECT-Anweisung in einer Abfrage hauptsächlich überall dort verwendet werden, wo auf das Array verwiesen wird. Wenn es nicht auf ein Array, sonst STRUCT, referenziert wird, dann verwenden Sie eine einfache Namenskonvention für verschachtelte Felder als.

Ausgabe für die obige Abfrage

Mit diesen grundlegenden Verarbeitungstechniken können Sie problemlos auf GA4-Analysedaten in BigQuery zugreifen. Weitere Informationen finden Sie unter Platzhalterabfragen.

Anfrage:

  
WITH table_1 AS (
SELECT DISTINCT   
event_date,
ep.value.string_value AS  file_path, 
REGEXP_EXTRACT(ep.value.string_value,
r'.([a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$)') AS file_name, 
stream_id, 
platform,
geo.country, 
geo.continent, 
device.category,
device.web_info.browserFROM `project_name.analytics_propertyID.events_*`,
UNNEST (event_params) AS epWHERE   _TABLE_SUFFIX BETWEEN '20220101'   AND FORMAT_DATE('%Y%m%d',DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY))   AND 
event_name = 'file_download'   AND 
ep.value.string_value LIKE '%.pdf%'   AND 
ep.key = 'file_name'),
table_2 AS (SELECT DISTINCT   event_date,   user_id,   usr.key,   usr.value.string_value,   usr.value.int_value,
usr.value.float_value,
FROM `project_name.analytics_propertyID.events_*`, 
UNNEST (user_properties) AS usrWHERE   _TABLE_SUFFIX BETWEEN '20220101'   AND FORMAT_DATE('%Y%m%d',DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)))
SELECT *FROM table_1 LEFT JOIN table_2USING (event_date)


 

Beispielausgabe von Abfragen

GA4-Immobilien können zusätzliche Informationen wie Gutscheine, Rabatte (neu), Werbeaktionen und Rückerstattungen erfassen. Bitte beachten Sie GA4 Erkundung um mehr über die GA4-Funktionen zu erfahren.

Fazit

Da Universal Analytics unsere Arbeit im Laufe der Jahre mühelos und ruhig gemacht hat, könnte es uns in der Anfangsphase etwas zu viel werden, auf neue Google Analytics 4-Properties zu migrieren. Positiv zu vermerken ist, dass GA4 über enorme grundlegende Funktionen und eine faszinierende Ereignisverfolgung verfügt als UA, und wir hoffen auch auf weitere neue GA4-Funktionen von Google.

Um den Migrationsprozess zu vereinfachen, empfiehlt Google den Nutzern auf der anderen Seite, einen parallelen Tracking-Ansatz zu verwenden. Was nichts anderes ist, als dass die Nutzer, die bereits über eine vorhandene UA-Eigenschaft verfügen, eine neue GA4-Eigenschaft erstellen können, die Daten parallel zu UA sammelt. Weitere Informationen finden Sie unter Parallele Verfolgung und Migrieren Sie E-Commerce-Daten von UA nach GA4.

‍

Weitere Links

Folge uns auf LinkedIn für Einblicke in unsere tägliche Arbeit und wichtige Updates zu BigQuery, Data Studio und Marketing Analytics.

Abonniere unseren YouTube-Kanal für Diskussionen zu DWH, BigQuery, Looker Studio und Google Tag Manager.

Wenn Sie BigQuery von Grund auf lernen möchten, erhalten Sie Zugriff auf unsere kostenloser BigQuery-Kurs

Verbessern Sie Ihre Fähigkeiten mit Google Data Studio und BigQuery, indem Sie sich für unser Udemy-Kurs.

Benötigen Sie Hilfe bei der Einrichtung eines modernen, kostengünstigen Data Warehouse oder eines analytischen Dashboards? Senden Sie uns eine E-Mail an hello@datadice.io um einen Anruf zu vereinbaren.