Construction de pipelines de données en streaming sur la plateforme Cloud

Les données évoluent plus vite que jamais, et les systèmes modernes s'appuient sur des informations en temps réel pour prendre des décisions critiques. Le traitement des données à mesure qu'elles arrivent est essentiel pour tout, de la détection de fraude financière à la surveillance des systèmes en direct. Ce cours vous apprend à concevoir, traiter et gérer efficacement les flux de données continus. Vous explorerez des techniques pratiques pour gérer les informations en temps réel, en passant des concepts traditionnels de traitement par lots aux architectures de streaming modernes et évolutives. Ce que vous apprendrez : - Comprendre les concepts fondamentaux de l'analyse en streaming et du traitement continu des données. - Construire des pipelines de données évolutifs à l'aide des services de la plateforme Cloud tels que Pub/Sub et Dataflow. - Traiter les flux de données continus à l'aide des techniques modernes de fenêtrage, de filigranes et de gestion des données tardives. - Appliquer des modèles d'observabilité modernes pour surveiller la santé, la latence et les performances du pipeline. - Concevoir des architectures serverless pour gérer l'ingestion de données en temps réel sans provisionnement manuel de l'infrastructure. Le programme commence par la terminologie essentielle de l'ingénierie des données et les concepts de base du streaming avant de vous guider à travers des exercices pratiques écrits. Vous apprendrez progressivement à architecturer et à déployer des pipelines fonctionnels en temps réel en lisant des descriptions architecturales détaillées et des extraits de code. Ce cours est conçu pour les débutants absolus en analyse de streaming – aucune expérience préalable en ingénierie des données ou en infrastructure cloud n'est requise. Commencez à lire dès aujourd'hui pour libérer la puissance du traitement des données en temps réel.