PySpark: des bases aux DataFrames

Ce cours est votre point de départ pour exploiter la puissance du calcul distribué avec PySpark, la bibliothèque Python pour Spark. Vous construirez une base solide dans le traitement des données volumineuses en apprenant à écrire un code de transformation de données propre, efficace et évolutif.À la fin du cours, vous serez en mesure d'aborder en toute confiance les tâches d'ingénierie de données courantes et de préparer les données pour une analyse à grande échelle. Ce que vous apprendrez: - Comprendre les concepts de base de l'informatique distribuée et de l'architecture Spark. - Traitez et manipulez efficacement les données structurées à l'aide de l'API PySpark DataFrame. - Interrogez vos données avec Spark SQL pour une analyse puissante et familière. - Appliquer des transformations et des actions courantes pour nettoyer, agréger et joindre des ensembles de données. - Apprenez à lire et à écrire dans des formats de données standard tels que CSV, JSON et Parquet. - Structurez et exécutez vos premières applications PySpark autonomes. - Explorez les ensembles de données distribués résilients (RDD) fondamentaux pour comprendre les mécanismes de base de Spark. Le programme commence par la terminologie clé et les bases de l'écosystème Spark, puis vous progresserez à travers des exercices pratiques écrits axés sur les DataFrames et Spark SQL pour développer des compétences pratiques. Ce cours est conçu pour les débutants avec une certaine expérience de Python.Aucune connaissance préalable de Spark ou de l'informatique distribuée n'est requise. Commencez votre parcours dans le traitement des données massives dès aujourd'hui.