Apache Spark 3 ve Scala ile Büyük Veri Mühendisliği

Modern veri talepleri, dağıtılmış kümeler üzerinde dev veri kümelerini hız ve güvenilirlikle yönetebilen araçlar gerektirir. Bu kurs, programcılara Spark ekosisteminin temel bileşenlerini öğrenerek büyük veri mühendisliğine geçiş için net bir yol sağlar. Temel veri yapılarını anlamaktan terabaytlık bilgiyi yönetebilen karmaşık, dağıtılmış işlem boru hatlarını inşa etmeye geçeceksiniz. Bu dersin sonunda, dağıtılmış sistemlerin nasıl çalıştığının sağlam bir zihinsel modeline ve veri yoğun görevler için üretim hazır Scala kodunu yazmak için pratik becerilere sahip olacaksınız. Farklı Spark API'leri arasındaki takasları yönetebilecek ve uygulamalarınızın ölçekte verimli bir şekilde çalışmasını sağlayan optimizasyonları uygulayabileceksiniz. Ne öğreneceksin: - Spark'ın mimarisini ve bir küme üzerinde dağıtılmış hesaplamayı nasıl yönettiğini anlayın. - Spark SQL ve DataFrame API'lerini kullanarak yapısal verileri verimli bir şekilde işleyin. - Güçlü ve bakımlı uygulama geliştirmesi için Datasets ile tip-güvenli veri dönüşümlerini uygulayın. - Düşük seviye veri soyutlamalarını ve özelleştirilmiş mantığı Resilient Distributed Datasets (RDDs) kullanarak yönetin. - Uygulama performansını Adaptif Sorgu İcrası ve verimli karıştırma gibi modern teknikler kullanarak optimize edin. - Büyük ölçekli veri kümeleri için karmaşık veri filtreleme, toplama ve birleşme stratejilerini uygulayın. - Veri bütünlüğü ve performansını sağlamak için dağıtılmış uygulamaları hata ayıklama ve izleme. Kurs, dağıtılmış hesaplama ve Spark iç yapısının temel tanımlarıyla başlar ve daha sonra yapısal veri işleme ve düşük seviye optimizasyonlara geçer. Her modül, bu kavramları gerçek dünya senaryolarına uygulayabilmenizi sağlamak için kod uygulamalarının okunması ve analiz edilmesine odaklanır. Bu ders, Scala' nın temel kavramlarını bilen ve büyük veri dünyasına girmek isteyen geliştiriciler için tasarlanmıştır. Spark veya dağıtılmış sistemlerle önceden tecrübe gerekmez. Spark ve Scala ile yüksek performanslı veri çözümleri oluşturmaya bugün başlayın.