Shell, Airflow ve Kafka ile Veri Boru Hattı Yapmak

Günümüz veri odaklı dünyasında, verileri verimli bir şekilde taşımak ve dönüştürmek her geliştirici veya veri uzmanı için temel becerilerden biridir.Bu metin tabanlı kurs, ETL ve ELT'nin temel kavramları boyunca size rehberlik ederek, güvenilir veri boru hatlarını sıfırdan nasıl inşa edeceğinizi gösterir. Temel veri entegrasyon teorilerini anlamaktan işlevsel boru hatlarını inşa etmeye kadar ilerleyeceksiniz. Shell scripting ile görevleri otomatikleştirmeyi, Airflow (modern TaskFlow API paternleri dahil) kullanarak karmaşık iş akışlarını orkestre etmeyi ve Kafka ile gerçek zamanlı veri akışını yönetmeyi öğreneceksiniz. Ne öğreneceksin: - ETL ve ELT mimarileri arasındaki temel farkları ve her birini ne zaman uygulamayı anlayın. - Temel veri çıkarma, dönüşüm ve yükleme görevlerini otomatikleştirmek için Shell senaryoları yazın. - Airflow DAG'leri ve modern TaskFlow API kurallarını kullanarak çok adımlı veri çalışma akışlarını düzenleyin. - Kafka'yı gerçek zamanlı olay verilerini almaya, işlemeye ve akışına ayarlayın. - Konteynerleştirilmiş yürütme ve temel veri doğrulaması da dahil olmak üzere modern boru hattı uygulamalarını uygulayın. Kurs, adım adım yazılı kılavuz ve konfigürasyon egzersizlerine geçmeden önce temel terminoloji ve mimari kavramlarla başlar. iyi bir beceri seti oluşturmak için parti işleme ve gerçek zamanlı akış için pratik senaryoları keşfedeceksiniz. Bu kurs, sadece temel programlama alışkanlığı ve önceden boru hattı deneyimi gerektirmeyen veri mühendisliği için yeni başlayanlar için tasarlanmıştır. Modern veri altyapısını güçlendiren araçları öğrenmek için bugün okumaya başlayın.