Data Engineering met Apache Airflow: Grondslagen en Praktijk

Naarmate data-omgevingen complexer worden, wordt het beheer van handmatige scripts onmogelijk.Apache Airflow biedt een robuust framework om programmatisch workflows te maken en te controleren, zodat uw gegevens op tijd en in de juiste indeling aankomen. Deze cursus leidt u van het begrijpen van basisconcepten voor orkestratie tot het beheren van productie-pipelines.U leert schone, schaalbare code schrijven voor uw workflows en deze in verschillende omgevingen implementeren terwijl u de best practices voor data engineering volgens de industriestandaard volgt. Wat je leert: - Begrijp de kerncomponenten van Airflow, waaronder de scheduler, webserver en metadata-database - Maak en beheer gerichte acyclische grafieken (DAG's) met behulp van de TaskFlow API en dynamische taaktoewijzing - Configureer verschillende executors zoals Celery en Kubernetes om uw workloads te schalen - Implementeer geavanceerde pijplijnlogica met sensoren, haken en cross-DAG-afhankelijkheden - Beveilig uw omgeving met behulp van Role-Based Access Control (RBAC) en gegevenscodering - Bewaak de gezondheid en prestaties van het systeem met behulp van geïntegreerde logging- en waarneembaarheidspatronen Het materiaal begint met fundamentele terminologie en architectuur voordat u overgaat tot praktische DAG-constructie.U zult verkennen hoe u Airflow kunt integreren met externe services en infrastructuur kunt beheren met behulp van containeromgevingen zoals Docker en cloudgebaseerde Kubernetes-clusters. Deze cursus is bedoeld voor beginners in data engineering of DevOps die vanaf de basis willen leren hoe ze workflows kunnen orkestreren. Begin vandaag nog met het bouwen van betrouwbare datapijplijnen.