Büyük Veri Analizi için Spark SQL ve PySpark

Veri hacmi büyüdükçe, standart SQL veritabanları sık sık sınırlarına ulaşarak, dağıtılmış hesaplamayı modern veri uzmanları için hayati bir beceri haline getirir. Bu kurs, Python ile entegre edilmiş SQL'nin tanıdık mantığını kullanarak büyük ölçekli verileri sorgulamak ve analiz etmek için Spark SQL kullanmayı öğretir. Temel tablo oluşturmaktan, zaman dizileri analizi ve doğal dil işleme de dahil olmak üzere gelişmiş analitik tekniklere ilerleyeceksiniz. Ayrıca, veri boru hatlarınızın verimli ve ölçeklenebilir olmasını sağlamak için Spark ekosistemi içinde önbellekleme ve performans izleme araçları kullanarak iş yüklerinizi nasıl optimize edeceğinizi anlayacaksınız. Ne öğreneceksin: - Spark'ın temel mimarisini ve dağıtılmış bir küme üzerinde SQL sorgularını nasıl çalıştırdığını anlayın - Büyük ölçekli veri kümelerini verimli bir şekilde organize etmek için Spark tabloları ve DataFrames oluşturun ve yönetin - Yürüyen toplamlar, ön/gecikme analizi ve karmaşık zaman dizileri işlemlerini gerçekleştirmek için gelişmiş pencere fonksiyonlarını uygulayın - Doğal dil metinlerini işleyerek özellikleri çıkarın ve makine öğrenimi çalışma akışları için veri hazırlayın - Metinleri sınıflandırmak ve sonuçları doğrudan Spark ortamında tahmin etmek için lojistik gerileme modelleri uygulayın - Önbellekleme, kayıt tutma ve sorgu performansını izlemek için Spark UI'yi kullanma dahil olmak üzere optimizasyon tekniklerini uygulama Kurs, SQL operasyonları, gelişmiş analitik fonksiyonlar ve pratik makine öğrenimi uygulamalarına geçmeden önce dağıtılmış veri ve anahtar terminolojinin temel kavramlarıyla başlar. Detaylı açıklamaları okuyup gerçek dünya veri zorluklarını taklit etmek için tasarlanmış yazılı egzersizler yoluyla bilginizi uygulayacaksınız. Bu kurs, büyük veri mühendisliği ve analizi dünyasına girmek isteyen SQL ve Python'u temel seviyede bilen yeni başlayanlar için tasarlanmıştır. Dağıtılmış sistemlerle ilgili önceden bir deneyime gerek yoktur. Spark SQL ile ölçeklenebilir veri çözümleri oluşturmaya bugün başlayın.