Ingeniería de datos con Apache Airflow: Fundamentos y práctica

A medida que los entornos de datos crecen en complejidad, la gestión de scripts manuales se vuelve imposible.Apache Airflow proporciona un marco robusto para crear y monitorear flujos de trabajo de forma programática, asegurando que sus datos lleguen a tiempo y en el formato correcto. Este curso lo llevará desde la comprensión de los conceptos básicos de orquestación hasta la administración de tuberías de producción.Aprenderá a escribir código limpio y escalable para sus flujos de trabajo y a implementarlos en varios entornos mientras sigue las mejores prácticas estándar de la industria para la ingeniería de datos. Lo que aprenderás: - Comprender los componentes principales de Airflow, incluido el programador, el servidor web y la base de datos de metadatos - Cree y administre gráficos acíclicos dirigidos (DAG) utilizando la API TaskFlow y la asignación dinámica de tareas - Configure diferentes ejecutores como Celery y Kubernetes para escalar sus cargas de trabajo - Implemente la lógica de canalización avanzada con sensores, ganchos y dependencias cruzadas de DAG - Asegure su entorno utilizando el control de acceso basado en roles (RBAC) y el cifrado de datos - Monitoree la salud y el rendimiento del sistema utilizando patrones de registro y observabilidad integrados El material comienza con la terminología y la arquitectura fundamentales antes de pasar a la construcción práctica de DAG.Explorará cómo integrar Airflow con servicios externos y administrar la infraestructura utilizando entornos en contenedores como Docker y clústeres Kubernetes basados en la nube. Este curso está diseñado para principiantes en ingeniería de datos o DevOps que desean aprender la orquestación de flujos de trabajo desde cero.No se requiere experiencia previa con Airflow. Comience a crear canalizaciones de datos confiables hoy mismo.