PySpark ve Apache Spark Veri Mühendisliği Temelleri

Veri Mühendisliği (Data Engineering), büyük veri kümelerinin hızlı ve güvenilir bir şekilde işlenmesine dayanır. Apache Spark bu iş için temel araçtır, ancak dağıtık yapısında ustalaşmak sağlam bir kavramsal temel gerektirir. Bu kurs, PySpark'ta bu temeli sağlayarak ölçeklenebilir Big Data uygulamaları için sağlam veri boru hatları tasarlamanızı, oluşturmanızı ve optimize etmenizi sağlar. Neler öğreneceksiniz: * Apache Spark mimarisini ve dağıtık hesaplama prensiplerini anlayın. * PySpark'ta dayanıklı dağıtık veri kümeleri (RDDs) ve güçlü DataFrame API'sini kullanarak veri işlemeye hakim olun. * Karmaşık veri manipülasyonu için Spark SQL uygulayın ve sorgu optimizasyonu için performans ayarlama tekniklerini kullanın. * Gerçek zamanlı veri akışlarını işlemek için Structured Streaming'i yapılandırın ve kullanın. * Modern veri depolama tekniklerini ve Parquet ve ORC gibi yaygın formatlarla entegrasyonu uygulayın. * Veri boru hatları içindeki yaygın makine öğrenimi görevleri için temel MLlib özelliklerini kullanın. Temel Spark terminolojisi ve ortam kurulumuyla başlayıp, hızla RDDs ve DataFrames ile pratik çalışmalara geçeceğiz, ardından optimizasyon, akış (streaming) ve özel kütüphanelere derinlemesine dalış yapacağız. Bu kurs, veri işleme yeteneklerini ölçeklendirmesi gereken Data Engineers veya Data Scientists olmak isteyen yeni başlayanlar için tasarlanmıştır. Spark veya dağıtık sistemlerle ilgili önceden deneyim gerekmemektedir. Ölçeklenebilir veri işleme için temelinizi bugün oluşturmaya başlayın.