Fondamentali di Hadoop e Spark per i Big Data

Le organizzazioni moderne generano ogni giorno enormi quantità di dati, rendendo obsoleti i sistemi di archiviazione ed elaborazione tradizionali. Per lavorare con i big data, è necessario comprendere i potenti framework distribuiti progettati per gestire scalabilità e velocità. Questo corso fornisce un'introduzione chiara e basata su testo al mondo dell'elaborazione dei big data utilizzando Hadoop e Spark. Inizierai dalle basi assolute, imparando la terminologia fondamentale, i concetti architetturali e le differenze fondamentali tra l'elaborazione basata su disco e quella in memoria. Cosa imparerai: Comprendere l'architettura fondamentale dell'ecosistema Hadoop, inclusi HDFS e YARN; Scrivere concetti MapReduce di base per elaborare grandi set di dati; Configurare ed eseguire applicazioni Spark utilizzando Resilient Distributed Datasets (RDDs) e DataFrames; Confrontare l'elaborazione batch basata su disco con l'elaborazione dati in memoria in tempo reale; Esercitarsi a scrivere query strutturate utilizzando Spark SQL su dati distribuiti; Applicare moderni flussi di lavoro di ingegneria dei dati, inclusa l'integrazione di base con l'archiviazione cloud. Iniziamo esplorando i concetti fondamentali dell'archiviazione distribuita e della gestione delle risorse, assicurandoti una solida comprensione di come funziona il cluster computing. Da lì, progredirai nella scrittura di flussi di lavoro di elaborazione dati, imparando come interrogare e manipolare grandi set di dati utilizzando Spark SQL e DataFrames. Questo corso è progettato specificamente per principianti senza esperienza precedente nelle tecnologie big data, sebbene una familiarità di base con i concetti di programmazione sia utile. Inizia a leggere oggi per costruire una solida base nell'ingegneria dei big data moderna.