Praktyczne potoki danych z Apache Airflow

Dowiedz się, jak automatyzować złożone procesy przetwarzania danych i zarządzać nimi za pomocą Apache Airflow, standardowego narzędzia do orkiestracji przepływu pracy. Ten kurs zawiera kompleksowe, oparte na tekście wprowadzenie do budowania niezawodnych potoków danych. Przejdziesz od podstawowych koncepcji do praktycznego zastosowania, ucząc się definiować, planować i monitorować przepływy pracy całkowicie za pomocą kodu.Pod koniec będziesz mieć podstawowe umiejętności, aby budować solidne, powtarzalne i obserwowalne potoki danych dla własnych projektów. Czego się nauczysz: - Zrozum podstawowe pojęcia Airflow, w tym DAG, operatorów, zadań i ich podstawowej architektury. - Zbuduj swój pierwszy potoczek danych od podstaw, definiując zależności zadań i planując regularne biegi. - Wykorzystaj nowoczesny interfejs API TaskFlow, aby napisać czyste, intuicyjne i natywne potoki danych Pythona. - Naucz się używać haczyków i połączeń, aby bezpiecznie współdziałać z systemami zewnętrznymi, takimi jak bazy danych i usługi w chmurze. - Ćwicz przekazywanie danych między zadaniami skutecznie za pomocą mechanizmu XComs Airflow. - Zdefiniuj zależności danych i pochodzenie za pomocą nowoczesnych funkcji, takich jak harmonogramowanie i zasoby z uwzględnieniem danych. - Poznaj różne wykonawcy Airflow i zrozum zasady skalowania orkiestracji danych. Następnie przejdziesz przez praktyczne, pisemne ćwiczenia, aby budować i zarządzać kompletnymi potokami danych, wzmacniając swoje zrozumienie na każdym kroku. Ten kurs jest przeznaczony dla początkujących.Nie jest wymagane wcześniejsze doświadczenie z Apache Airflow lub orkiestrą danych, chociaż korzystne będzie podstawowe zrozumienie Pythona. Zacznij budować zautomatyzowane potoki danych już dziś.