PySpark Foundations: Procesamiento práctico de Big Data con Python

A medida que los conjuntos de datos crecen demasiado para que las herramientas tradicionales puedan manejarlos, la computación distribuida se vuelve esencial para los profesionales de datos modernos.Este curso basado en texto lo presenta a PySpark, la API de Python para Spark, que le permite procesar y analizar conjuntos de datos masivos con velocidad y eficiencia. Al leer explicaciones claras y practicar con fragmentos de código del mundo real, dominará los conceptos fundamentales del almacenamiento distribuido, la ejecución de consultas y la manipulación de datos, y aprenderá a usar los algoritmos de aprendizaje automático para crear y administrar flujos de trabajo de Big Data. Lo que aprenderás: - Comprender los fundamentos de la computación distribuida, la arquitectura Spark y la transición de las bibliotecas de datos tradicionales. - Cree y manipule conjuntos de datos distribuidos resilientes (RDD) y marcos de datos Spark de alto rendimiento. - Consulte grandes conjuntos de datos utilizando Spark SQL para ejecutar consultas relacionales familiares en datos distribuidos. - Aplique la API moderna de Pandas en Spark para escalar sin problemas sus flujos de trabajo de Pandas existentes a Big Data. - Optimice las tuberías de procesamiento de datos utilizando almacenamiento en caché, particionamiento y definiciones de esquema eficientes. - Explore los conceptos básicos de la transmisión estructurada para procesar fuentes de datos en tiempo real. El curso comienza con la terminología esencial de big data y la arquitectura central de Spark, antes de pasar a las operaciones prácticas de DataFrame y las consultas SQL.Luego, avanzará a las técnicas de optimización del rendimiento y las API modernas de escalado de datos a través de explicaciones escritas estructuradas y ejercicios de código. Este curso está diseñado para ingenieros de datos principiantes, analistas de datos y desarrolladores de Python que desean ingresar al mundo de los grandes datos.No se requiere experiencia previa con sistemas distribuidos, aunque es útil una comprensión básica de Python y SQL. Comience a leer hoy mismo para desbloquear el poder de la computación distribuida y escalar sus habilidades de procesamiento de datos.