Building Data Pipelines with Shell, Airflow, and Kafka

Learn to design, orchestrate, and stream data using shell scripts, Airflow workflows, and Kafka event streams to build robust ETL and ELT pipelines.

4.5 (459) ⏱ 37 mnt 📚 8 pelajaran

Tentang kursus ini

In today's data-driven world, the ability to move and transform data efficiently is a core skill for any developer or data professional. This text-based course guides you through the foundational concepts of ETL and ELT, showing you how to build reliable data pipelines from scratch. You will progress from understanding basic data integration theories to constructing functional pipelines. You will learn how to automate tasks with Shell scripting, orchestrate complex workflows using Airflow (including modern TaskFlow API patterns), and handle real-time data streams with Kafka. What you'll learn: - Understand the core differences between ETL and ELT architectures and when to apply each. - Write Shell scripts to automate basic data extraction, transformation, and loading tasks. - Orchestrate multi-step data workflows using Airflow DAGs and modern TaskFlow API conventions. - Configure Kafka to ingest, process, and stream real-time event data. - Apply modern pipeline practices, including containerized execution and basic data validation. The course begins with essential terminology and architectural concepts before moving into step-by-step written guides and configuration exercises. You will explore practical scenarios for batch processing and real-time streaming to build a well-rounded skill set. This course is designed for beginners to data engineering, requiring only basic programming familiarity and no prior pipeline experience. Start reading today to master the tools that power modern data infrastructure.

Apa yang Anda dapatkan

  • 📜 Sertifikat penyelesaian
    Tambahkan ke profil LinkedIn Anda
  • 💬 Personal AI tutor
    Stuck on a lesson? Ask your built-in tutor anything, any time.
  • ♾️ Akses seumur hidup
    Kembali kapan saja, tanpa kedaluwarsa
  • 📱 Ponsel atau komputer
    Berfungsi di mana saja, perangkat apa saja
  • 💸 Pengembalian 30 hari
    Tanpa pertanyaan
  • Singkat dan fokus
    37 mnt konten praktis

Ulasan (5)

Benjamín Torres UY Pelajar terverifikasi
★ 4 · 2025-07-31T17:52:02+00:00

Saya suka contoh praktis! Mereka benar-benar membawa konsep ke kehidupan. Kursusnya terorganisir dengan baik dan mudah dinavigasi.

Zanele Mthembu ZA Pelajar terverifikasi
★ 4 · 2025-06-03T10:57:02+00:00

Pengantar yang bagus. Saya menghargai langkah-langkah yang jelas, meskipun beberapa modul berikutnya dapat menggunakan lebih banyak contoh.

Zar Chi MM Pelajar terverifikasi
★ 4 · 2025-03-28T02:25:02+00:00

Saya menemukannya berguna. alirannya logis, dan contoh ilustratif membantu menguatkan ide. bisa menggunakan sedikit lebih dalam.

Jefri Al Buchori ID Pelajar terverifikasi
★ 4 · 2025-02-02T05:27:02+00:00

senang aku mengambil ini isinya mengalir secara logis dan aplikasinya di dunia nyata sangat relevan pekerjaan yang bagus!

Anna Müller DE
★ 4 · 2024-12-19T14:29:02+00:00

Sangat menikmati aliran ini. aplikasi praktis yang dibahas tepat sasaran. kursus yang hebat!

Tulis ulasan

Setelah mengirim kami akan meminta masuk — draf Anda tersimpan.

Pelajar lain juga mengambil

Pertanyaan umum

Apa yang saya butuhkan untuk mengikuti kursus ini? +

Cukup ponsel atau komputer dengan internet. Tidak ada instalasi atau perangkat khusus.

Bagaimana cara membayar? +

Dengan kartu via Stripe, atau kripto. Kami tidak menyimpan detail kartu — Stripe menanganinya dengan aman.

Bisakah saya mendapat refund? +

Ya — refund penuh dalam 30 hari, tanpa pertanyaan.

Berapa lama saya akan punya akses? +

Selamanya. Setelah membeli, kursus jadi milik Anda untuk dikunjungi lagi kapan saja.

Apakah saya akan mendapat sertifikat? +

Ya. Setelah selesai, Anda akan menerima sertifikat yang bisa ditambahkan ke profil LinkedIn.

Dibuat untuk pelajar di
Teknologi Desain Keuangan Pemasaran Kesehatan Pendidikan Perhotelan Manufaktur