Sviluppo di pipeline di flusso di dati con Apache Beam

L'ingegneria dei dati moderna richiede la capacità di elaborare enormi set di dati in tempo reale senza gestire un'infrastruttura complessa.Questo corso ti guida attraverso il processo di costruzione di pipeline di dati robusti e serverless che gestiscono sia i dati batch storici che gli eventi di streaming dal vivo. Inizierai padroneggiando la terminologia e l'architettura fondamentali dell'elaborazione unificata dei dati. Cosa imparerai: - Comprendere i concetti fondamentali di Apache Beam e come viene eseguito su Dataflow. - Implementare strategie di finestra, filigrane e trigger per gestire i dati in arrivo in ritardo. - Definire i dati strutturati utilizzando gli schemi per semplificare la logica della pipeline e migliorare l'efficienza. - Applica trasformazioni stateful utilizzando le API di stato e timer per l'elaborazione avanzata degli eventi. - Configurare diverse fonti e sink per integrarsi con vari sistemi di archiviazione e messaggistica. - Praticare moderne tecniche di osservabilità e debug delle pipeline per flussi di lavoro di produzione affidabili. Il corso inizia con le definizioni essenziali e il modello Beam prima di passare a modelli di streaming complessi e best practice per l'ottimizzazione della pipeline.Questo programma è per i principianti che cercano di entrare nel mondo dell'ingegneria dei dati, senza esperienza precedente nello sviluppo della pipeline. Inizia a creare soluzioni di dati scalabili oggi.