Traitement de données sans serveur avec Dataflow : Guide de développement de pipelines

La gestion du traitement de données à grande échelle peut être complexe et coûteuse sans la bonne architecture sans serveur. Ce cours basé sur du texte vous apprend à concevoir et à exécuter des pipelines de données efficaces sans la surcharge liée à la gestion de l'infrastructure sous-jacente. Vous passerez de la compréhension des concepts fondamentaux du sans serveur à l'écriture, au test et à l'optimisation de vos propres pipelines de données pour les données de streaming en temps réel et par lots. Ce que vous apprendrez : - Comprendre les concepts fondamentaux du traitement de données sans serveur et de l'architecture Apache Beam - Créer des pipelines de données robustes pour extraire, transformer et charger des jeux de données de toute taille - Mettre en œuvre des méthodologies modernes de test de pipelines pour garantir la qualité des données et la fiabilité du code - Configurer la mise à l'échelle automatique et l'optimisation des ressources pour contrôler les coûts de traitement des données dans le cloud - Gérer l'état du pipeline, le fenêtrage et les déclencheurs pour les sources de données de streaming en temps réel - Déployer et surveiller des pipelines prêts pour la production en utilisant les meilleures pratiques de déploiement modernes Nous commençons par la terminologie clé et les mécanismes fondamentaux d'Apache Beam et de Dataflow. À partir de là, vous lirez des modèles de construction de pipelines étape par étape, explorerez des scénarios de transformation réels et apprendrez à déboguer et à surveiller vos déploiements à l'aide d'explications textuelles et d'extraits de code détaillés. Ce cours est conçu pour les futurs ingénieurs de données, développeurs et analystes qui souhaitent apprendre le traitement de données sans serveur à partir de zéro. Aucune expérience préalable en développement de pipelines n'est requise. Commencez dès aujourd'hui à créer des pipelines de données évolutifs et sans maintenance.