Büyük Veri için Hadoop ve Spark Temelleri

Modern kuruluşlar her gün devasa miktarda veri üretiyor ve bu da geleneksel depolama ve işleme sistemlerini modası geçmiş hale getiriyor. Büyük verilerle çalışmak için ölçeklenebilirlik ve hızı ele almak üzere tasarlanmış güçlü dağıtık çerçeveleri anlamanız gerekir. Bu kurs, Hadoop ve Spark kullanarak büyük veri işleme dünyasına net, metin tabanlı bir giriş sunuyor. Mutlak temellerle başlayacak, çekirdek terminolojiyi, mimari kavramları ve disk tabanlı ile bellekte işleme arasındaki temel farkları öğreneceksiniz. Öğrenecekleriniz: Hadoop ekosisteminin temel mimarisini (HDFS ve YARN dahil) anlayın; Büyük veri kümelerini işlemek için temel MapReduce kavramlarını yazın; Dayanıklı Dağıtılmış Veri Kümeleri (RDD'ler) ve DataFrame'ler kullanarak Spark uygulamalarını yapılandırın ve çalıştırın; Disk tabanlı yığın işlemeyi gerçek zamanlı bellekte veri işleme ile karşılaştırın; Dağıtılmış veriler üzerinde Spark SQL kullanarak yapılandırılmış sorgular yazma pratiği yapın; Temel bulut depolama entegrasyonunu içeren modern veri mühendisliği iş akışlarını uygulayın. Küme hesaplamanın nasıl çalıştığına dair sağlam bir kavrayışa sahip olmanızı sağlayarak, dağıtılmış depolama ve kaynak yönetimi temellerini keşfederek başlıyoruz. Oradan, Spark SQL ve DataFrame'leri kullanarak büyük veri kümelerini sorgulama ve işleme yollarını yazmaya ilerleyeceksiniz. Bu kurs, büyük veri teknolojilerinde daha önce deneyimi olmayan yeni başlayanlar için özel olarak tasarlanmıştır, ancak programlama kavramlarına temel aşinalık faydalıdır. Modern büyük veri mühendisliğinde güçlü bir temel oluşturmak için bugün okumaya başlayın.