Spark, Databricks ve Delta Lake ile Veri Mühendisliği Temelleri

Çağdaş işletmeler, ham verileri harekete geçirebilir içgörülere dönüştürmek için güçlü veri boru hatlarına dayanarak, veri mühendisliğini günümüzdeki en önemli becerilerden biri haline getiriyor.Bu kurs, size lakehouse mimarisinin temel kavramlarını tanıtarak, modern veri işlemesinde sağlam bir temel sağlar. Temel veri kavramlarını anlamaktan veri boru hatlarını okumaya, yazmaya ve çalıştırmaya geçiş yapacaksınız. Python ve Scala'da açık yazılı açıklamalar ve yapılmış kod örnekleri yoluyla, büyük ölçekli veri kümelerini nasıl işleyeceğinizi, güvenilir veri tablolarını nasıl yöneteceğinizi ve endüstri standart veri iş akışlarını nasıl uygulayacağınızı öğreneceksiniz. Ne öğreneceksin: - Databricks Lakehouse mimarisinin temel ilkelerini ve Apache Spark ile dağıtılmış hesaplamayı anlayın. - Spark SQL, DataFrames ve API'leri hem Python hem de Scala'da kullanarak güvenilir veri boru hatları oluşturun. - Delta Tables'ı zaman yolculuğu, sürüm geçmişi ve şema evrimi gibi gelişmiş özellikler kullanarak yönetin. - Delta önbellekleme, dosya yönetimi ve modern depolama düzenlemelerini kullanarak sorgu performansını optimize edin. - Unity Katalog hacimlerini kullanarak veri yönetimi ve dosya depolama temellerini ayarlayın. - Veri kalitesi ve boru hattı güvenilirliğini sağlamak için veri boru hatı test ve izleme uygulamalarını uygulamak. Yolculuk, DataFrame dönüşümleri, veri yükleme, Delta Lake operasyonları ve performans ayarlamalarını sistematik olarak ilerletmeden önce temel veri mühendisliği terminolojisi ve Spark kurulumu ile başlar.Kapsamlı kod yürüyüşlerini okuyacak ve öğrenmenizi güçlendirmek için tasarlanmış kavramsal egzersizlerle çalışacaksınız. Bu kurs, büyük veri teknolojilerine yeni başlayan umut vadeden veri mühendisi, veritabanı yöneticisi ve yazılım geliştiricileri için tasarlanmıştır. SQL ve genel programlama kavramlarına temel bir aşinalık yararlı olsa da, Spark veya Databricks ile önceden deneyim gerekmez. Veri mühendisliği temelinizi bugün inşa etmeye başlayın.