PySpark: Daten-Engineering und Machine Learning in der Praxis

Mit PySpark können Sie die Leistungsfähigkeit des verteilten Rechnens mit Python nutzen und neue Möglichkeiten für Data Engineering und Data Science eröffnen.PySpark ist ein leistungsstarkes, benutzerfreundliches und skalierbares Datenverarbeitungs-Tool, das Ihnen ermöglicht, Daten aus einer Vielzahl von Quellen zu extrahieren. Dieser textbasierte Kurs führt Sie vom Anfänger zum selbstbewussten Schreiben von PySpark-Code.Sie beginnen mit den Kernkonzepten des verteilten Rechnens, dem Übergang von Resilient Distributed Datasets (RDDs) zur modernen DataFrame-API und lernen, wie Sie Machine-Learning-Algorithmen auf große Datensätze anwenden. Was Sie lernen werden: - Verstehen Sie die Kernarchitektur von Spark und wie PySpark die verteilte Datenverarbeitung koordiniert - Beherrschen Sie den Übergang von Low-Level-RDDs zur hoch optimierten Spark DataFrame API - Schreiben Sie sauberen, wartbaren PySpark-Code mit modernen Python-Praktiken wie Typhinweisen - Wenden Sie Spark MLlib an, um maschinelle Lernmodelle zu erstellen und zu bewerten, einschließlich Clustering-Algorithmen - Verarbeiten, filtern und bereinigen Sie große Datensätze mit integrierten Spark-Funktionen und SQL-Abfragen Sie lernen die grundlegende Terminologie und die Einrichtung der lokalen Umgebung kennen, bevor Sie mit der praktischen Datenmanipulation beginnen.Durch strukturierte schriftliche Erklärungen und Code-Walkthroughs entwickeln Sie sich vom einfachen Laden von Daten bis zum Aufbau eines Machine-Learning-Workflows. Dieser Kurs richtet sich an angehende Dateningenieure, Datenwissenschaftler und Analysten, die neu im Bereich des verteilten Rechnens sind.Es sind keine Vorkenntnisse mit Spark erforderlich, obwohl ein grundlegendes Verständnis von Python hilfreich ist. Beginnen Sie Ihre Reise in Big Data und schreiben Sie noch heute effizienten PySpark-Code.