Développement de pipeline de flux de données avec Apache Beam

L'ingénierie des données moderne nécessite la capacité de traiter des ensembles de données massifs en temps réel sans gérer d'infrastructure complexe.Ce cours vous guide à travers le processus de construction de pipelines de données robustes et sans serveur qui gèrent à la fois les données par lots historiques et les événements de streaming en direct.Vous commencerez par maîtriser la terminologie et l'architecture fondamentales du traitement de données unifié. Ce que vous apprendrez: - Comprendre les concepts de base d'Apache Beam et son exécution sur Dataflow. - Mettre en œuvre des stratégies de fenêtrage, des filigranes et des déclencheurs pour gérer les données arrivant en retard. - Définir des données structurées à l'aide de schémas pour simplifier la logique du pipeline et améliorer l'efficacité. - Appliquer des transformations stateful en utilisant les API State et Timer pour le traitement avancé des événements. - Configurez diverses sources et puits pour intégrer divers systèmes de stockage et de messagerie. - Pratiquer des techniques modernes d'observabilité et de débogage de pipeline pour des flux de production fiables. Le cours commence par les définitions essentielles et le modèle Beam, avant de passer aux modèles de flux complexes et aux meilleures pratiques pour l'optimisation des pipelines. Ce programme s'adresse aux débutants qui souhaitent entrer dans le monde de l'ingénierie des données, sans expérience préalable en développement de pipelines.