Membina Saluran Paip Data dengan Shell, Airflow, dan Kafka

Dalam dunia yang didorong oleh data hari ini, keupayaan untuk memindahkan dan mengubah data dengan cekap adalah kemahiran teras untuk mana-mana pembangun atau profesional data. Kursus berasaskan teks ini membimbing anda melalui konsep asas ETL dan ELT, menunjukkan kepada anda cara membina saluran paip data yang boleh dipercayai dari awal. Anda akan maju daripada memahami teori penyepaduan data asas kepada membina saluran paip yang berfungsi. Anda akan belajar cara mengautomasikan tugas dengan skrip Shell, mengorkestra alur kerja kompleks menggunakan Airflow (termasuk corak API TaskFlow moden), dan mengendalikan strim data masa nyata dengan Kafka. Apa yang anda akan pelajari: - Memahami perbezaan teras antara seni bina ETL dan ELT serta masa untuk mengenakan setiap satu. - Menulis skrip Shell untuk mengautomasikan tugas asas pengekstrakan, transformasi, dan pemuatan data. - Mengorkestra alur kerja data pelbagai langkah menggunakan DAG Airflow dan konvensyen API TaskFlow moden. - Mengkonfigurasi Kafka untuk menyerap, memproses, dan menstrim data peristiwa masa nyata. - Menggunakan amalan saluran paip moden, termasuk pelaksanaan terkonena dan pengesahan data asas. Kursus ini bermula dengan terminologi penting dan konsep seni bina sebelum beralih kepada panduan bertulis langkah demi langkah dan latihan konfigurasi. Anda akan meneroka senario praktikal untuk pemprosesan kelompok dan penstriman masa nyata untuk membina set kemahiran yang menyeluruh. Kursus ini direka untuk pemula dalam kejuruteraan data, hanya memerlukan kebiasaan pengaturcaraan asas dan tiada pengalaman saluran paip sebelum ini. Mula membaca hari ini untuk menguasai alat yang memperkasakan infrastruktur data moden.