Ingénierie des données avec Apache Airflow : Fondements et pratique

Apache Airflow fournit un cadre robuste pour créer et surveiller les flux de travail par programmation, en s'assurant que vos données arrivent à temps et dans le bon format. Vous apprendrez à écrire du code propre et évolutif pour vos flux de travail et à les déployer dans divers environnements tout en suivant les meilleures pratiques standard du secteur en matière d'ingénierie des données. Ce que vous apprendrez: - Comprendre les composants de base d'Airflow, y compris le planificateur, le serveur Web et la base de données de métadonnées - Créez et gérez des graphiques acycliques dirigés (DAG) à l'aide de l'API TaskFlow et du mappage dynamique des tâches - Configurez différents exécuteurs tels que Celery et Kubernetes pour mettre à l'échelle vos charges de travail - Implémentez une logique de pipeline avancée avec des capteurs, des crochets et des dépendances cross-DAG - Sécurisez votre environnement en utilisant le contrôle d'accès basé sur les rôles (RBAC) et le chiffrement des données - Surveiller l'état et les performances du système à l'aide de modèles de journalisation et d'observabilité intégrés Vous découvrirez comment intégrer Airflow avec des services externes et gérer l'infrastructure à l'aide d'environnements conteneurisés tels que Docker et des clusters Kubernetes basés sur le cloud. Ce cours est conçu pour les débutants en ingénierie des données ou en DevOps qui souhaitent apprendre l'orchestration des flux de travail à partir de zéro.Aucune expérience préalable avec Airflow n'est requise. Commencez à construire des pipelines de données fiables dès aujourd'hui.