Apache Spark Essentials für die Datentechnikpraxis

Dieser Kurs führt angehende Dateningenieure durch die Kernprinzipien von Apache Spark, sodass Sie praktische Datenpipelines entwerfen und implementieren können.Dieser Kurs richtet sich an DateningenieurInnen, die sich mit der Entwicklung von Datenpipes beschäftigen. Sie lernen die grundlegenden Konzepte von Apache Spark, die Ausführungstreiber und die verteilte Cluster-Architektur kennen und lernen, wie Sie die Apache-Spark-Umgebung für die Datenverarbeitung nutzen. Verarbeiten Sie strukturierte und halbstrukturierte Datensätze mit PySpark DataFrames und Spark SQL, führen Sie skalierbare Datentransformationen, Aggregationen und komplexe Datensatzverbindungen durch, und nutzen Sie moderne Lakehouse-Speichermuster mit Formaten wie Delta Lake für zuverlässiges Datenmanagement. Konfigurieren Sie grundlegende Stapelverarbeitungs-Workflows und strukturierte Streaming-Grundlagen.Üben Sie Data Engineering-Muster durch Schritt-für-Schritt-Erklärungen und Codebeispiele.Der Kurs beginnt mit wesentlichen Definitionen und Grundprinzipien, bevor er zu realistischen Data Engineering Aufgaben übergeht. Dieser Kurs wurde für Anfänger und aufstrebende Datenprofis entwickelt und erfordert grundlegende Kenntnisse in Python, aber keine vorherige Spark-Erfahrung.