Entwicklung von Dataflow-Pipelines mit Apache Beam

Modernes Data Engineering erfordert die Fähigkeit, riesige Datensätze in Echtzeit zu verarbeiten, ohne eine komplexe Infrastruktur zu verwalten. Dieser Kurs führt Sie durch den Prozess des Aufbaus robuster, serverloser Datenpipelines, die sowohl historische Batchdaten als auch Live-Streaming-Ereignisse verarbeiten.Sie beginnen mit der Beherrschung der grundlegenden Terminologie und Architektur der einheitlichen Datenverarbeitung. Was Sie lernen werden: - Verstehen Sie die Kernkonzepte von Apache Beam und wie sie auf Dataflow ausgeführt werden. - Implementieren Sie Fensterstrategien, Wasserzeichen und Auslöser, um verspätete Daten zu verarbeiten. - Definieren Sie strukturierte Daten mithilfe von Schemata, um die Pipeline-Logik zu vereinfachen und die Effizienz zu verbessern. - Wenden Sie zustandsorientierte Transformationen mit State- und Timer-APIs für die erweiterte Ereignisverarbeitung an. - Konfigurieren Sie verschiedene Quellen und Senken, um sie in verschiedene Speicher- und Messaging-Systeme zu integrieren. - Üben Sie moderne Pipeline-Beobachtungs- und Debugging-Techniken für zuverlässige Produktionsworkflows. Der Kurs beginnt mit grundlegenden Definitionen und dem Beam-Modell, bevor er sich mit komplexen Streaming-Mustern und Best Practices für die Pipeline-Optimierung befasst.Dieses Programm richtet sich an Anfänger, die in die Welt des Data Engineering einsteigen möchten, ohne dass vorherige Pipeline-Entwicklungserfahrung erforderlich ist. Beginnen Sie noch heute mit der Erstellung skalierbarer Datenlösungen.