Pipeline Data Praktis dengan Apache Airflow

Bosan menjalankan skrip data secara manual dan kesulitan melacak dependensinya? Pelajari cara mengotomatiskan dan mengelola proses data yang kompleks dengan Apache Airflow, alat standar industri untuk orkestrasi alur kerja. Kursus ini menyediakan pengantar komprehensif berbasis teks untuk membangun pipeline data yang andal. Anda akan beralih dari konsep inti ke aplikasi praktis, belajar mendefinisikan, menjadwalkan, dan memantau alur kerja Anda sepenuhnya melalui kode. Pada akhirnya, Anda akan memiliki keterampilan dasar untuk membangun pipeline data yang kuat, berulang, dan dapat diamati untuk proyek Anda sendiri. Apa yang akan Anda pelajari: - Memahami konsep inti Airflow, termasuk DAG, Operator, Tugas, dan arsitektur dasarnya. - Membangun pipeline data pertama Anda dari awal, mendefinisikan dependensi tugas dan menjadwalkan eksekusi reguler. - Memanfaatkan API TaskFlow modern untuk menulis pipeline data yang bersih, intuitif, dan berbasis Python. - Belajar menggunakan Hooks dan Connections untuk berinteraksi secara aman dengan sistem eksternal seperti basis data dan layanan cloud. - Berlatih meneruskan data antar tugas secara efektif menggunakan mekanisme XComs Airflow. - Mendefinisikan ketergantungan dan silsilah data menggunakan fitur modern seperti Penjadwalan Berbasis Data dan Aset. - Menjelajahi berbagai eksekutor Airflow dan memahami prinsip-prinsip penskalaan orkestrasi data Anda. Kursus ini dimulai dengan prinsip-prinsip dasar orkestrasi data dan komponen-komponen kunci Airflow. Anda kemudian akan melanjutkan melalui latihan tertulis praktis untuk membangun dan mengelola pipeline data lengkap, memperkuat pemahaman Anda di setiap langkah. Kursus ini dirancang untuk pemula. Tidak diperlukan pengalaman sebelumnya dengan Apache Airflow atau orkestrasi data, meskipun pemahaman dasar tentang Python akan bermanfaat. Mulailah membangun pipeline data otomatis hari ini.