Практические конвейеры обработки данных с использованием Apache Airflow

Устали от ручного запуска скриптов обработки данных и борьбы с их зависимостями? Узнайте, как автоматизировать и управлять сложными процессами обработки данных с помощью Apache Airflow, стандартного в отрасли инструмента для оркестрации рабочих процессов. Этот курс представляет собой всестороннее текстовое введение в создание надежных конвейеров обработки данных. Вы перейдете от основных концепций к практическому применению, научившись определять, планировать и отслеживать свои рабочие процессы полностью с помощью кода. К концу курса вы получите базовые навыки для создания надежных, воспроизводимых и наблюдаемых конвейеров обработки данных для ваших собственных проектов. Что вы узнаете: - Поймете основные концепции Airflow, включая DAG, операторы, задачи и его базовую архитектуру. - Создадите свой первый конвейер обработки данных с нуля, определив зависимости задач и запланировав регулярные запуски. - Используете современный API TaskFlow для написания чистых, интуитивно понятных и нативных для Python конвейеров обработки данных. - Научитесь использовать хуки и соединения для безопасного взаимодействия с внешними системами, такими как базы данных и облачные сервисы. - Практикуйте эффективную передачу данных между задачами, используя механизм XComs в Airflow. - Определяйте зависимости и происхождение данных, используя современные функции, такие как планирование с учетом данных и ресурсы. - Изучите различные исполнители Airflow и поймите принципы масштабирования оркестрации данных. Курс начинается с основополагающих принципов оркестрации данных и ключевых компонентов Airflow. Затем вы перейдете к практическим письменным упражнениям по созданию и управлению полными конвейерами данных, закрепляя свои знания на каждом этапе. Этот курс предназначен для начинающих. Предварительный опыт работы с Apache Airflow или оркестрацией данных не требуется, хотя базовое понимание Python будет полезным. Начните создавать автоматизированные конвейеры данных уже сегодня.