Apache Spark Bilgi Mühendisliği Pratiği için Esaslar

Büyük verileri verimli bir şekilde yönetmek için dağıtılmış hesaplama için tasarlanmış güçlü araçlar gerektirir. Bu kurs, umut veren veri mühendislerine Apache Spark'ın temel ilkeleri boyunca rehberlik ederek pratik veri boru hatlarını tasarlamaya ve uygulamaya olanak tanır. Pratik veri işleme senaryolarıyla çalışmadan önce temel terminoloji, Spark mimarisi ve küme yürütme modellerini anlayarak başlayabilirsiniz. Ne öğreneceksiniz: Apache Spark çekirdek kavramlarını, yürütme sürücülerini ve dağıtılmış küme mimarisini anlayacaksınız. PySpark DataFrames ve Spark SQL kullanarak yapısal ve yarı yapısal veri kümelerini işleyin. Ölçeklenebilir veri dönüşümleri, toplama ve karmaşık veri kümesi birleşmeleri yapın. Güvenilir veri yönetimi için Delta Lake gibi formatları kullanarak modern lakehouse depolama paternlerini keşfedin. Temel grup işleme iş akışlarını ve yapısal akışın temellerini yapılandır. Adım adım yazılı açıklamalar ve kod örnekleri yoluyla veri mühendisliği paternlerini pratik edin. Kurs gerçekçi veri mühəndisliği görevlerine geçmeden önce temel tanımlamalar ve temel ilkelerle başlar. Başlangıçlar ve umut verici veri profesyonelleri için tasarlanmış olan bu kurs, temel Python bilgisi gerektirir, ancak önceden Spark deneyimi yoktur.