Ingénierie de pipeline de données par lots avec Dataflow et Dataproc

Le traitement efficace de jeux de données massifs est la base de la veille économique et du reporting modernes. Ce cours vous apprend à passer de simples scripts de données à la conception de pipelines de traitement par lots robustes et automatisés qui gèrent facilement les transformations à grande échelle.Vous acquerrez les compétences nécessaires pour gérer le mouvement et la transformation des données à grande échelle à l'aide de technologies cloud standard du secteur. Ce que vous apprendrez: - Comprendre les concepts fondamentaux d'ingénierie des données, y compris les modèles ETL / ELT et les architectures de traitement par lots - Créez des tâches de traitement de données sans serveur à l'aide d'Apache Beam sur Dataflow pour une gestion unifiée des données - Configurez Dataproc Serverless pour exécuter des applications Spark sans avoir à gérer l'infrastructure sous-jacente - Appliquer des contrôles de qualité des données et des modèles d'observabilité pour assurer la fiabilité et l'exactitude des pipelines - Orchestrer des flux de travail complexes et gérer les dépendances entre les différentes étapes de traitement des données - Mettre en œuvre des systèmes de surveillance et d'alerte modernes pour identifier et résoudre les défaillances de pipeline de manière proactive Le cours commence par des définitions de base et des principes architecturaux avant de passer à des stratégies de mise en œuvre pratiques utilisant la logique basée sur SQL et Python. Vous lirez des explications détaillées sur la conception de pipeline et explorerez comment structurer le code pour la maintenabilité et les performances. Ce programme est conçu pour les débutants en ingénierie des données qui ont une compréhension de base de SQL et Python et sont prêts à appliquer ces compétences au traitement de données à l'échelle du cloud.