Ingeniería de datos práctica: construya tuberías con Spark, Kafka y Airflow

Las empresas modernas generan cantidades masivas de datos diariamente, pero estos datos son inútiles sin tuberías robustas para procesar, limpiar y almacenarlos.Este curso de solo texto lo guía a través de los conceptos básicos de ingeniería de datos, llevándolo desde datos en bruto hasta tuberías listas para la producción. A través de explicaciones claras y prácticas, aprenderás a dominar las herramientas fundamentales utilizadas por los equipos de datos modernos, y aprenderás cómo crear y administrar flujos de trabajo de procesamiento por lotes y flujos. Qué aprenderá: Comprender la arquitectura fundamental de las plataformas de datos y los sistemas de almacenamiento modernos; Construir tuberías ETL automatizadas utilizando Airflow para programar y monitorear los flujos de trabajo de datos; Procesar conjuntos de dados a gran escala de manera eficiente utilizando PySpark y Pandas; Configurar tuberías de datos de transmisión en tiempo real con Kafka para el procesamiento instantáneo de datos. Conteneriza tus aplicaciones de datos usando Docker para garantizar entornos consistentes; Limpiar, analizar y validar los datos entrantes para mantener altos estándares de calidad de datos.El curso comienza con definiciones fundamentales de ingeniería de datos, bases de datos y contenedorización. Luego avanzará paso a paso a través del procesamiento por lotes, el procesamiento de flujos y la orquestación de tuberías utilizando escenarios del mundo real. Este curso está diseñado para aspirantes a ingenieros de datos, desarrolladores de software y analistas de datos con una comprensión básica de Python. Comience a leer hoy para construir su primer canal de datos confiable.