Hands-On PySpark: Praktyczna inżynieria danych i uczenie maszynowe

W miarę wzrostu zbiorów danych tradycyjne narzędzia do przetwarzania danych starają się nadążyć za skalą.Nauka PySpark pozwala wykorzystać moc obliczeń rozproszonych za pomocą Pythona, otwierając nowe możliwości inżynierii danych i nauki o danych. Ten kurs tekstowy zabierze Cię od początkującego do pewnego pisania kodu PySpark.Zaczniesz od podstawowych koncepcji obliczeń rozproszonych, przejścia z elastycznych rozproszonej bazy danych (RDD) do nowoczesnego interfejsu API DataFrame i nauczysz się stosować algorytmy uczenia maszynowego do dużych zbiorów danych. Czego się nauczysz: - Zrozum podstawową architekturę Sparka i jak PySpark koordynuje rozproszone przetwarzanie danych - Opanuj przejście z niskopoziomowych RDD do wysoce zoptymalizowanego interfejsu API Spark DataFrame - Napisz czysty, łatwy w utrzymaniu kod PySpark przy użyciu nowoczesnych praktyk Pythona, takich jak wskazówki typu - Zastosuj Spark MLlib do budowania i oceny modeli uczenia maszynowego, w tym algorytmów klastrowania - Przetwarzaj, filtruj i czyść duże zbiory danych za pomocą wbudowanych funkcji Spark i zapytań SQL Zaczniesz od podstawowej terminologii i konfiguracji środowiska lokalnego, zanim przejdziesz do praktycznej manipulacji danymi.Poprzez uporządkowane pisemne wyjaśnienia i przewodniki po kodzie, przejdziemy od podstawowego ładowania danych do budowania przepływu pracy uczenia maszynowego. Ten kurs jest przeznaczony dla początkujących inżynierów danych, naukowców zajmujących się danymi i analityków, którzy są nowicjuszami w dziedzinie obliczeń rozproszonych.Nie jest wymagane wcześniejsze doświadczenie ze Sparkiem, chociaż pomocne jest podstawowe zrozumienie Pythona. Rozpocznij swoją podróż do dużych danych i zacznij pisać wydajny kod PySpark już dziś.