PySpark Foundations: практическая обработка больших данных с Python

Поскольку массивы данных становятся слишком большими для традиционных инструментов, распределенные вычисления становятся необходимыми для современных специалистов по данным. Этот текстовый курс познакомит вас с PySpark, Python API для Spark, позволяя вам обрабатывать и анализировать массивны наборы данных со скоростью и эффективностью. Вы пройдете путь от обработки данных на одной машине к распределенным рабочим процессам больших данных. Прочитав четкие объяснения и практикуя с реальными фрагментами кода, вы овладеете основными концепциями распределенного хранения, выполнения запросов и манипулирования данными. Что вы узнаете: - Понять основы распределенных вычислений, архитектуры Spark и перехода от традиционных библиотек данных. - Создание и манипулирование устойчивыми распределенными наборами данных (RDD) и высокопроизводительными Spark DataFrames. - Запрос больших наборов данных с помощью Spark SQL для запуска знакомых реляционных запросов на распределенных данных. - Примените современный Pandas API на Spark, чтобы бесшовно масштабировать существующие рабочие процессы Pandas к большим данным. - Оптимизация конвейеров обработки данных с использованием кэширования, разделения и эффективных определений схем. - Изучите основы структурированной потоковой передачи для обработки потоков данных в реальном времени. Курс начинается с основных терминов, связанных с большими данными, и основной архитектуры Spark, а затем переходит к практическим операциям DataFrame и SQL-запросам. Затем вы перейдете к методам оптимизации производительности и современным API для масштабирования данных с помощью структурированных письменных объяснений и упражнений по коду. Этот курс предназначен для начинающих инженеров данных, аналитиков данных и разработчиков Python, которые хотят войти в мир больших данных. Не требуется предыдущий опыт работы с распределенными системами, хотя полезно иметь базовое понимание Python и SQL. Начните читать сегодня, чтобы раскрыть мощь распределенных вычислений и масштабировать свои навыки обработки данных.