Создание конвейеров данных с помощью Shell, Airflow и Kafka

В современном мире, основанном на данных, способность эффективно перемещать и преобразовывать данные является ключевым навыком для любого разработчика или специалиста по данным. Этот текстовый курс поможет вам освоить основные концепции ETL и ELT, показывая, как создавать надежные конвейеры данных с нуля. Вы пройдете путь от понимания основных теорий интеграции данных до построения функциональных конвейеров. Вы научитесь автоматизировать задачи с помощью скриптов Shell, организовывать сложные рабочие процессы с помощьют Airflow (включая современные шаблоны TaskFlow API) и обрабатывать потоки данных в реальном времени с помощья Kafka. Что вы узнаете: - Понять основные различия между архитектурами ETL и ELT и когда применять каждый. - Написать сценарии Shell для автоматизации основных задач по извлечению, преобразованию и загрузке данных. - Оркестр многоступенчатых рабочих процессов данных с использованием Airflow DAG и современных соглашений TaskFlow API. - Настройка Kafka для приема, обработки и потоковых данных событий в реальном времени. - Применять современные методы работы с потоками данных, включая контейнеризацию и проверку базовых данных. Курс начинается с основных терминов и архитектурных концепций, а затем переходит к поэтапным письменным руководствам и упражнениям по настройке. Вы изучите практические сценарии пакетной обработки и потоковой передачи в реальном времени, чтобы создать хорошо сбалансированный набор навыков. Этот курс предназначен для начинающих в области инженерии данных, требуя только базового знакомства с программированием и без предыдущего опыта работы с конвейерами. Начните читать сегодня, чтобы овладеть инструментами, которые управляют современной инфраструктурой данных.