Apache Kafka pour l'ingénierie et les pipelines de données en temps réel

Les entreprises modernes s'appuient sur le traitement instantané des données, et Kafka est la norme de l'industrie pour la gestion de flux massifs d'informations en temps réel.Ce cours vous guide à travers le processus de conception de systèmes robustes basés sur des événements qui peuvent gérer efficacement des pipelines de données à haut débit. Vous apprendrez à: - Comprendre l'architecture de base de Kafka, y compris les courtiers, les sujets, les partitions et la réplication. - Configurez les producteurs et les consommateurs pour gérer efficacement les flux de données à grande vitesse. - Implémentez Kafka Connect pour l'intégrer à des bases de données externes et à des systèmes de stockage en nuage. - Appliquer Kafka Streams pour le traitement et la transformation des données en temps réel. - Gérer la coordination de cluster moderne en utilisant le mode KRaft pour des opérations simplifiées. - Explorez les modèles basés sur des événements pour alimenter des données dans des bases de données vectorielles pour les flux de travail AI. Le cours commence par la terminologie et l'architecture fondamentales avant de passer à des configurations pratiques pour les producteurs, les consommateurs et le traitement de flux à travers des explications écrites et des exemples de code. Ce cours est conçu pour les débutants intéressés par l'ingénierie des données et le développement backend; aucune expérience préalable avec les systèmes distribués n'est requise.