Batch-Daten-Pipeline-Engineering mit Dataflow und Dataproc

Die effiziente Verarbeitung großer Datensätze ist das Rückgrat moderner Business Intelligence und Reporting. In diesem Kurs erfahren Sie, wie Sie von einfachen Datenskripten zum Entwurf robuster, automatisierter Batch-Pipelines übergehen, die umfangreiche Transformationen problemlos bewältigen.Sie erwerben die Fähigkeiten, die erforderlich sind, um Datenbewegungen und -transformationen im großen Maßstab mit branchenüblichen Cloud-Technologien zu verwalten. Was Sie lernen werden: - Verstehen Sie grundlegende Datentechnikkonzepte, einschließlich ETL / ELT-Muster und Stapelverarbeitungsarchitekturen - Erstellen Sie serverlose Datenverarbeitungsaufträge mit Apache Beam auf Dataflow für eine einheitliche Datenverarbeitung - Konfigurieren Sie Dataproc Serverless, um Spark-Anwendungen auszuführen, ohne die zugrunde liegende Infrastruktur verwalten zu müssen - Anwenden von Datenqualitätsprüfungen und Beobachtungsmustern, um die Zuverlässigkeit und Genauigkeit der Pipeline sicherzustellen - Orchestrieren Sie komplexe Workflows und verwalten Sie Abhängigkeiten zwischen verschiedenen Datenverarbeitungsstufen - Implementieren Sie moderne Überwachungs- und Alarmfunktionen, um Pipeline-Fehler proaktiv zu identifizieren und zu beheben Der Kurs beginnt mit Kerndefinitionen und Architekturprinzipien, bevor Sie sich praktischen Implementierungsstrategien mit SQL- und Python-basierter Logik zuwenden. Sie lesen detaillierte Erklärungen zum Pipeline-Design und erfahren, wie Code für Wartbarkeit und Leistung strukturiert werden kann. Dieses Programm richtet sich an Anfänger im Daten-Engineering, die über ein grundlegendes Verständnis von SQL und Python verfügen und bereit sind, diese Fähigkeiten auf die Datenverarbeitung im Cloud-Maßstab anzuwenden.