Apache Airflow ile Veri Mühendisliği: Temeller ve Uygulama

Veri ortamları karmaşıklıkta büyüdükçe, manuel senaryoları yönetmek imkansız hale geliyor. Apache Airflow, verilerinizin zamanında ve doğru biçimde gelmesini sağlayarak, programlı olarak çalışma akışlarını oluşturmak ve izlemek için güçlü bir çerçeve sağlar. Bu kurs sizi temel orkestrasyon kavramlarını anlamaktan üretim seviyesi boru hatlarını yönetmeye götürür. İş akışlarınız için temiz, ölçeklenebilir kod yazmayı ve veri mühendisliği için en iyi endüstri standartlarını izlerken çeşitli çevreler arasında dağıtmayı öğreneceksiniz. Ne öğreneceksin: - Zamanlayıcı, web sunucusu ve meta veri veritabanı da dahil olmak üzere Airflow'un temel bileşenlerini anlayın - TaskFlow API ve dinamik görev haritalama kullanarak yönlendirilmiş Acyclic Graphs (DAGs) oluşturun ve yönetin - İş yüklerini ölçmek için Celery ve Kubernetes gibi farklı yürütücüleri ayarlayın - Sensörler, kancalar ve DAG bağımlılıkları ile gelişmiş boru hattı mantığını uygulayın - Rol Tabanlı Erişim Kontrolü (RBAC) ve veri şifrelemesini kullanarak çevrenizi güvence altına alın - Entegre kayıt ve gözlemleme paternlerini kullanarak sistem sağlığını ve performansını izleyebilirsiniz Ders materyali, pratik DAG yapısına geçmeden önce temel terminoloji ve mimari ile başlar. Airflow'u dış hizmetlerle nasıl entegre edeceğinizi ve Docker ve bulut tabanlı Kubernetes kümeleri gibi konteyner ortamlarını kullanarak altyapıyı nasıl yöneteceğinizi keşfedeceksiniz. Bu kurs, veri mühendisliği veya DevOps'ta yeni başlayanlar için tasarlanmıştır ve çalışma akışının orkestrasyonunu en başından öğrenmek istiyorlar. Airflow ile önceden bir deneyim gerekmez. Güvenilir veri boru hatları inşa etmeye bugün başlayın.