Scala et Spark pour l'analyse de Big Data

Les ensembles de données devenant trop importants pour une seule machine, les développeurs et les ingénieurs de données modernes doivent passer du traitement local traditionnel à l'informatique distribuée.Ce cours basé sur du texte vous guide à travers les concepts de base du traitement des données volumineuses, en vous montrant comment exploiter la vitesse d'Apache Spark en utilisant les paradigmes fonctionnels élégants de Scala. Vous passerez de l'écriture de code local de base à la conception de pipelines de données distribués robustes pouvant évoluer sur plusieurs clusters.En lisant des explications conceptuelles claires et en analysant des exemples de code pratiques, vous construirez une base solide dans les systèmes distribués. Ce que vous apprendrez: - Comprendre les principes fondamentaux de l'informatique distribuée, de l'exécution de cluster et du modèle de mémoire de Spark. - Appliquer des concepts de programmation fonctionnelle dans Scala pour manipuler des collections de données distribuées de manière sûre et efficace. - Maîtriser les API structurées de Spark, y compris les DataFrames et les Datasets, pour des transformations de données optimisées. - Écrivez des requêtes Spark SQL expressives pour analyser des données structurées et semi-structurées à grande échelle. - Configurez les pipelines de données pour lire et écrire dans des formats de stockage modernes tels que Parquet et Delta Lake. - Pratiquer l'identification et la résolution des goulets d'étranglement de performance courants dans les tâches de données distribuées. Le cours commence par la terminologie essentielle du Big Data, la syntaxe fondamentale de Scala et les concepts distribués de base avant de passer à la manipulation pratique des données, à la conception d'API structurées et aux flux de travail d'optimisation pratiques. Ce cours est conçu pour les débutants en big data, y compris les développeurs, les analystes de données et les ingénieurs de données en herbe qui souhaitent apprendre le traitement distribué à partir de zéro sans avoir besoin d'une expérience préalable en cluster. Commencez à lire dès aujourd’hui pour libérer la puissance de l’analyse de données distribuées avec Scala et Spark.