Spark-Programmierung in Scala für Data Engineering

Die Verarbeitung riesiger Datensätze erfordert mehr als nur Standardprogrammierung; sie erfordert ein verteiltes Denkvermögen und die richtigen Werkzeuge. Dieser Kurs bietet Ihnen einen klaren Weg, um zu verstehen, wie Sie große Datenmengen mit einer der leistungsstärksten Engines der Branche verwalten und transformieren. Sie lernen von den Grundlagen der Programmierung bis hin zur Entwicklung hochperformanter Datenanwendungen, die komplexe Verarbeitungsaufgaben bewältigen können. Am Ende des Kurses beherrschen Sie die Konzeption und Implementierung effizienter Datenpipelines mit Scala. Lerninhalte: - Die Spark-Architektur und die Kernprinzipien des verteilten Rechnens verstehen. - Die Grundlagen der Scala-Programmierung speziell für Data Engineering anwenden. - Die Spark DataFrame API und Spark SQL für die Analyse strukturierter Daten beherrschen. - Moderne Datenpipelines mit Spark Connect und Remote-Konnektivitätsmustern entwickeln. - Komplexe Datentransformationen, Filterungen und Aggregationen implementieren. - Die Anwendungsleistung für große Produktionsumgebungen konfigurieren und optimieren. Der Kurs beginnt mit der grundlegenden Terminologie und den internen Mechanismen verteilter Systeme und führt Sie dann durch praktische Implementierungsszenarien und moderne Entwicklungs-Workflows. Es richtet sich an Einsteiger, Softwareentwickler und Datenarchitekten, die sich eine solide Grundlage in datenzentrierter Infrastruktur schaffen möchten – Vorkenntnisse in Spark sind nicht erforderlich. Beginnen Sie noch heute mit dem Aufbau Ihrer Expertise in der Verarbeitung großer Datenmengen.