Hands-On PySpark: Od podstaw do DataFrames

Zmagasz się z zestawami danych, które są zbyt duże dla tradycyjnych narzędzi?Ten kurs jest punktem wyjścia do wykorzystania mocy obliczeń rozproszonych za pomocą PySpark, biblioteki Python dla Spark. Zbudujesz silne podstawy w przetwarzaniu dużych danych, ucząc się pisać czysty, wydajny i skalowalny kod transformacji danych.Pod koniec kursu będziesz w stanie pewnie poradzić sobie z typowymi zadaniami inżynierii danych i przygotować dane do analizy na dużą skalę. Czego się nauczysz: - Zapoznaj się z podstawowymi pojęciami obliczeń rozproszonych i architektury Spark. - Przetwarzaj i manipuluj uporządkowanymi danymi wydajnie za pomocą interfejsu API PySpark DataFrame. - Zapytaj swoje dane za pomocą Spark SQL, aby uzyskać potężną i znaną analizę. - Zastosuj wspólne transformacje i akcje, aby wyczyścić, agregować i łączyć zestawy danych. - Naucz się czytać i pisać do standardowych formatów danych, takich jak CSV, JSON i Parquet. - Struktura i uruchom swoje pierwsze samodzielne aplikacje PySpark. - Poznaj podstawowe elastyczne rozproszone zbiory danych (RDD), aby zrozumieć podstawową mechanikę Sparka. Program nauczania rozpoczyna się od kluczowej terminologii i podstaw ekosystemu Spark.Następnie przejdziesz przez praktyczne ćwiczenia pisemne skupione na DataFrames i Spark SQL, aby zbudować praktyczne umiejętności. Ten kurs jest przeznaczony dla początkujących z pewnym doświadczeniem w Pythonie.Nie jest wymagana wcześniejsza znajomość Sparka lub obliczeń rozproszonych. Rozpocznij swoją podróż w przetwarzaniu dużych danych już dziś.