Kejuruteraan Data dengan Apache Beam dan Dataflow: Bina Saluran Paip Kelompok (Batch Pipelines)

Kejuruteraan data moden memerlukan saluran paip yang berskala dan boleh dipercayai untuk memproses set data yang besar. Apache Beam menawarkan model yang berkuasa dan bersatu untuk mentakrifkan saluran paip data yang boleh anda jalankan dengan mudah pada perkhidmatan awan terurus seperti Dataflow. Kursus bertulis ini membimbing anda melalui konsep asas pemprosesan data, membawa anda daripada pembangunan saluran paip tempatan kepada penggunaan berskala awan. Anda akan belajar cara menulis kod saluran paip yang bersih dan mudah diselenggara menggunakan Apache Beam Python SDK, menggunakan transformasi, dan mengatur aliran kerja data anda dalam persekitaran awan. Apa yang anda akan pelajari: - Memahami konsep teras saluran paip data, termasuk PCollections, Transforms, Pipeline Runners, dan I/O connectors. - Mengkonfigurasi persekitaran pembangunan Python tempatan menggunakan persekitaran maya moden dan kebergantungan SDK. - Menggunakan transformasi untuk mengekstrak, membersihkan, dan memformat data menggunakan fungsi terbina dalam Apache Beam. - Melaksanakan Python type hints untuk memastikan keselamatan saluran paip, kebolehbacaan kod, dan skema data yang teguh. - Menggunakan saluran paip pemprosesan kelompok (batch processing) ke Dataflow di awan untuk pelaksanaan yang diurus sepenuhnya dan autoscaling. - Menguji dan menyahpepijat kod saluran paip anda secara tempatan sebelum memindahkannya ke persekitaran pengeluaran. Anda akan bermula dengan menguasai istilah asas dan pelaksanaan saluran paip tempatan, secara beransur-ansur beralih ke logik transformasi lanjutan. Akhir sekali, anda akan meneroka integrasi awan, mempelajari cara mengkonfigurasi kebenaran dan menggunakan kod anda untuk dijalankan pada infrastruktur awan terurus. Kursus ini direka untuk jurutera data yang bercita-cita tinggi, pembangun perisian, dan penganalisis data yang mempunyai pemahaman asas tentang Python dan ingin mempelajari pemprosesan data natif awan (cloud-native). Tiada pengalaman terdahulu dengan Apache Beam atau saluran paip data awan diperlukan. Mula membaca hari ini untuk membina saluran paip data berskala pertama anda dari awal.