Apache Spark 3 et l'ingénierie Big Data avec Scala

Les exigences modernes en matière de données nécessitent des outils capables de gérer des ensembles de données massifs sur des clusters distribués avec rapidité et fiabilité. Ce cours fournit aux programmeurs un chemin clair pour la transition vers l'ingénierie des données massives en maîtrisant les composants de base de l'écosystème Spark.Vous passerez de la compréhension des structures de données de base à la création de pipelines de traitement distribués complexes pouvant gérer des téraoctets d'informations. À la fin de ce cours, vous aurez un modèle mental solide du fonctionnement des systèmes distribués et les compétences pratiques pour écrire du code Scala prêt à la production pour des tâches intensives en données.Vous serez en mesure de naviguer dans les compromis entre les différentes API Spark et de mettre en œuvre des optimisations qui garantissent que vos applications fonctionnent efficacement à grande échelle. Ce que vous apprendrez: - Comprendre l'architecture de Spark et la façon dont elle gère le calcul distribué sur un cluster. - Traitez efficacement les données structurées à l'aide des API Spark SQL et DataFrame. - Appliquer des transformations de données de type sécurisé avec Datasets pour un développement d'applications robuste et maintenable. - Gérer les abstractions de données de bas niveau et la logique personnalisée à l'aide de Resilient Distributed Datasets (RDD). - Optimisez les performances de l'application en utilisant des techniques modernes telles que l'exécution de requête adaptative et le mélange efficace. - Mettre en œuvre des stratégies complexes de filtrage, d'agrégation et de jointure de données pour des ensembles de données à grande échelle. - Pratiquer le débogage et la surveillance des applications distribuées pour assurer l'intégrité et les performances des données. Le cours commence par des définitions fondamentales de l'informatique distribuée et des composants internes de Spark avant de progresser à travers le traitement de données structurées et les optimisations de bas niveau.Chaque module se concentre sur la lecture et l'analyse des implémentations de code pour vous assurer que vous pouvez appliquer ces concepts à des scénarios réels. Ce cours est conçu pour les développeurs qui ont une compréhension de base de Scala et qui souhaitent entrer dans le monde du big data.Aucune expérience préalable avec Spark ou les systèmes distribués n'est requise. Commencez dès aujourd’hui à créer des solutions de données hautes performances avec Spark et Scala.