Praktische Datenpipelines mit Apache Airflow

Sind Sie es leid, Datenskripte manuell auszuführen und deren Abhängigkeiten zu verfolgen? Lernen Sie, wie Sie komplexe Datenprozesse mit Apache Airflow, dem Branchenstandard für Workflow-Orchestrierung, automatisieren und verwalten. Dieser Kurs bietet eine umfassende, textbasierte Einführung in den Aufbau zuverlässiger Datenpipelines. Sie erlernen die Grundlagen und wenden sie praktisch an, indem Sie Ihre Workflows vollständig über Code definieren, planen und überwachen. Am Ende des Kurses verfügen Sie über die notwendigen Kenntnisse, um robuste, wiederholbare und transparente Datenpipelines für Ihre eigenen Projekte zu erstellen. Lerninhalte: - Die Kernkonzepte von Airflow verstehen, darunter DAGs, Operatoren, Tasks und die zugrundeliegende Architektur. - Ihre erste Datenpipeline von Grund auf erstellen, Task-Abhängigkeiten definieren und regelmäßige Ausführungen planen. - Die moderne TaskFlow-API nutzen, um saubere, intuitive und Python-native Datenpipelines zu schreiben. - Hooks und Verbindungen verwenden, um sicher mit externen Systemen wie Datenbanken und Cloud-Diensten zu interagieren. - Den effektiven Datenaustausch zwischen Tasks mithilfe des XComs-Mechanismus von Airflow üben. - Definieren Sie Datenabhängigkeiten und Datenherkunft mithilfe moderner Funktionen wie datenbasierter Planung und Assets. - Erkunden Sie verschiedene Airflow-Executors und verstehen Sie die Prinzipien der Skalierung Ihrer Datenorchestrierung. Der Kurs beginnt mit den Grundlagen der Datenorchestrierung und den wichtigsten Airflow-Komponenten. Anschließend erstellen und verwalten Sie anhand praktischer Übungen vollständige Datenpipelines und festigen so Ihr Verständnis Schritt für Schritt. Dieser Kurs ist für absolute Anfänger konzipiert. Vorkenntnisse in Apache Airflow oder Datenorchestrierung sind nicht erforderlich, Grundkenntnisse in Python sind jedoch von Vorteil. Starten Sie noch heute mit dem Aufbau automatisierter Datenpipelines.