Scala dan Spark untuk Analisis Data Besar

Sebagai dataset tumbuh terlalu besar untuk mesin tunggal, pemaju moden dan jurutera data mesti berpindah dari pemprosesan setempat tradisional ke pengkomputeran terdistribusi. Kursus berasaskan teks ini memandu anda melalui konsep teras pemprosesan data besar, menunjukkan bagaimana untuk memanfaatkan kelajuan Apache Spark menggunakan paradigma fungsian yang elegan Scala. Anda akan berpindah dari menulis kod tempatan asas ke merancang paip data terdistribusi yang boleh diskaun di seluruh kluster. Dengan membaca penjelasan konseptual yang jelas dan menganalisis contoh kod praktikal, anda akan membina asas yang kuat dalam sistem terdistribusi. Apa yang anda akan belajar: - Mengerti prinsip-prinsip asas pengkomputeran terdistribusi, pelaksanaan kluster, dan model memori Spark. - Laksanakan konsep pemprograman fungsian dalam Scala untuk memanipulasi koleksi data terdistribusi dengan selamat dan berkesan. - API struktur Master Spark, termasuk DataFrames dan Datasets, untuk transformasi data yang dioptimumkan. - Tulis pertanyaan Spark SQL yang ekspresif untuk menganalisis data berstruktur dan separuh berstruktur skala besar. - Konfigur paip data untuk dibaca dan ditulis ke format storan moden seperti Parquet dan Delta Lake. - Latihan mengenal pasti dan menyelesaikan masalah prestasi biasa dalam tugas data terdistribusi. Kursus ini bermula dengan terminologi data besar yang penting, sintaks asas Scala, dan konsep terdistribusi teras sebelum beralih ke manipulasi data, reka bentuk API yang terstruktur, dan aliran kerja pengoptimuman praktikal. Kursus ini direka untuk pemula data besar, termasuk pemaju, penganalisis data, dan jurutera data yang bercita-cita tinggi yang ingin belajar pemprosesan terdistribusi dari asas tanpa memerlukan pengalaman kluster sebelumnya. Mula membaca hari ini untuk membuka kuasa analisis data terdistribusi dengan Scala dan Spark.