Ingegneria delle pipeline di dati in batch con Dataflow e Dataproc

L'elaborazione efficiente di enormi set di dati è la spina dorsale della moderna business intelligence e reporting.Questo corso ti insegna come passare da semplici script di dati alla progettazione di pipeline batch robuste e automatizzate che gestiscono facilmente trasformazioni su larga scala. Acquisirai le competenze necessarie per gestire il movimento e la trasformazione dei dati su scala utilizzando tecnologie cloud standard del settore. Cosa imparerai: - Comprendere i concetti di ingegneria dei dati fondamentali, inclusi i modelli ETL / ELT e le architetture di elaborazione batch - Crea processi di elaborazione dati serverless utilizzando Apache Beam su Dataflow per la gestione unificata dei dati - Configura Dataproc Serverless per eseguire le applicazioni Spark senza la necessità di gestire l'infrastruttura sottostante - Applicare controlli della qualità dei dati e modelli di osservabilità per garantire l'affidabilità e l'accuratezza della pipeline - Orchestrare flussi di lavoro complessi e gestire le dipendenze tra le varie fasi di elaborazione dei dati - Implementare il monitoraggio e l'avviso moderni per identificare e risolvere proattivamente i guasti delle pipeline Il corso inizia con le definizioni di base e i principi architettonici prima di passare a strategie di implementazione pratiche utilizzando la logica basata su SQL e Python. Leggerai spiegazioni dettagliate sulla progettazione delle pipeline ed esplorerai come strutturare il codice per la manutenibilità e le prestazioni. Questo programma è progettato per i principianti nell'ingegneria dei dati che hanno una conoscenza di base di SQL e Python e sono pronti ad applicare tali competenze all'elaborazione dei dati su scala cloud.