Практическое обучение PySpark: практическое проектирование данных и машинное обучение

По мере роста массивов данных традиционные инструменты обработки данных с трудом справляются с масштабом. Обучение PySpark позволяет использовать мощность распределенных вычислений с помощью Python, открывая новые возможности для инженерии данных и науки данных. Этот текстовый курс поможет вам перейти от уровня новичка к уверенному написанию кода PySpark. Вы начнете с основных концепций распределенных вычислений, перехода от устойчивых распределённых наборов данных (RDD) к современному API DataFrame и узнаете, как применять алгоритмы машинного обучения к большим наборам данных. Что вы узнаете: - Понимание основной архитектуры Spark и того, как PySpark координирует распределенную обработку данных - овладеть переходом от низкоуровневых RDD к высокооптимизированному API Spark DataFrame - Написать чистый, поддерживаемый код PySpark, используя современные методы Python, такие как подсказки типов - Примените Spark MLlib для создания и оценки моделей машинного обучения, включая алгоритмы кластеризации - Обрабатывайте, фильтруйте и очищайте крупномасштабные наборы данных с помощью встроенных функций Spark и SQL-запросов Вы начнете с базовой терминологии и настройки локальной среды, а затем перейдете к практическому манипулированию данными. С помощью структурированных письменных объяснений и обзоров кода вы пройдете путь от базовой загрузки данных до создания рабочего процесса машинного обучения. Этот курс предназначен для начинающих инженеров данных, ученых данных и аналитиков, которые впервые работают с распределенными вычислениями. Предыдущий опыт работы со Spark не требуется, хотя полезно иметь базовое понимание Python. Начните свое путешествие в мир больших данных и начните писать эффективный код PySpark сегодня.