Yeni Başlayanlar İçin Scala ve Spark ile Veri Mühendisliği

Büyük veri kümelerini işlemek, hız, ölçek ve güvenilirlik için tasarlanmış araçlar gerektirir. Bu metin tabanlı kurs, temel programlamadan sağlam veri altyapısı oluşturmaya geçiş yapmanıza yardımcı olarak, Scala ve Spark kullanarak veri mühendisliğinin temel kavramlarında size rehberlik eder. Dağıtılmış sistemlerin nasıl çalıştığına ve Spark'ın güçlü motorunu kullanarak verileri ölçekli olarak temizleme, dönüştürme ve analiz etme konusunda sağlam bir anlayış geliştireceksiniz. Yapılandırılmış yazılı açıklamalar ve pratik kod incelemeleri sayesinde, modern endüstri standartlarını karşılayan verimli veri işlem hatları tasarlama konusunda güven kazanacaksınız. Neler öğreneceksiniz: - Dağıtılmış bilgi işlem temellerini, Spark mimarisini ve Scala sözdizimini anlayın - Dayanıklı dağıtılmış veri kümelerini (resilient distributed datasets) ve DataFrames'leri işlemek için etkileyici Scala kodu yazın - Gerçek zamanlı ve statik verileri işlemek için sağlam toplu (batch) ve yapılandırılmış akış (structured streaming) işlem hatları oluşturun - Modern performans ayarlama tekniklerini ve önbellekleme stratejilerini kullanarak Spark uygulamalarını optimize edin - Delta Lake depolama formatları dahil olmak üzere modern data lakehouse konseptlerini iş akışlarınıza entegre edin - Veri işlem hatlarınızın güvenilirliğini sağlamak için hata işleme ve test etme kalıplarını uygulayın Kurs, Spark'ın temel mimarisine dalmadan önce temel terminoloji ve Scala programlama temelleriyle başlar. Basit veri dönüşümlerinden karmaşık işlem hattı orkestrasyonuna ve performans optimizasyon tekniklerine doğru ilerleyeceksiniz. Bu kurs, büyük veri işlemeyi öğrenmek isteyen geleceğin veri mühendisleri, yazılım geliştiricileri ve veri analistleri için tasarlanmıştır. Temel programlama kavramlarına aşina olmak faydalı olsa da, Scala veya Spark ile ilgili önceden deneyim gerekmemektedir. Modern, büyük ölçekli veri mühendisliğinde temelinizi oluşturmak için bugün okumaya başlayın.