Ingeniería de canalización de datos por lotes con Dataflow y Dataproc

El procesamiento eficiente de conjuntos de datos masivos es la columna vertebral de la inteligencia de negocios y los informes modernos.Este curso le enseñará cómo pasar de simples scripts de datos a diseñar tuberías por lotes robustas y automatizadas que manejan transformaciones a gran escala con facilidad.Obtendrá las habilidades necesarias para administrar el movimiento y la transformación de datos a escala utilizando tecnologías en la nube estándar del sector. Lo que aprenderás: - Comprender los conceptos fundamentales de ingeniería de datos, incluidos los patrones ETL / ELT y las arquitecturas de procesamiento por lotes - Cree trabajos de procesamiento de datos sin servidor utilizando Apache Beam en Dataflow para el manejo unificado de datos - Configurar Dataproc Serverless para ejecutar aplicaciones Spark sin la necesidad de administrar la infraestructura subyacente - Aplicar controles de calidad de datos y patrones de observabilidad para garantizar la confiabilidad y precisión de la tubería - Orqueste flujos de trabajo complejos y administre dependencias entre varias etapas de procesamiento de datos - Implementar un monitoreo y alertas modernos para identificar y resolver de manera proactiva las fallas de las tuberías El curso comienza con definiciones básicas y principios arquitectónicos antes de pasar a estrategias de implementación prácticas utilizando SQL y lógica basada en Python. Leerá explicaciones detalladas del diseño de la tubería y explorará cómo estructurar el código para la capacidad de mantenimiento y el rendimiento. Este programa está diseñado para principiantes en ingeniería de datos que tienen una comprensión básica de SQL y Python y están listos para aplicar esas habilidades al procesamiento de datos a escala de la nube.