Kejuruteraan Saluran Data Kelompok dengan Dataflow dan Dataproc

Pemprosesan set data besar secara cekap adalah tulang belakang kecerdasan perniagaan dan pelaporan moden. Kursus ini mengajar anda cara beralih daripada skrip data mudah kepada mereka bentuk saluran kelompok automatik yang teguh yang mengendalikan transformasi berskala besar dengan mudah. Anda akan memperoleh kemahiran yang diperlukan untuk mengurus pergerakan dan transformasi data pada skala menggunakan teknologi awan standard industri. Apa yang akan anda pelajari: - Memahami konsep asas kejuruteraan data termasuk corak ETL/ELT dan seni bina pemprosesan kelompok - Membina kerja pemprosesan data tanpa pelayan menggunakan Apache Beam pada Dataflow untuk pengendalian data yang bersatu - Mengkonfigurasi Dataproc Serverless untuk menjalankan aplikasi Spark tanpa perlu mengurus infrastruktur asas - Mengaplikasikan pemeriksaan kualiti data dan corak kebolehperhatian untuk memastikan kebolehpercayaan dan ketepatan saluran paip - Mengatur aliran kerja yang kompleks dan mengurus kebergantungan antara pelbagai peringkat pemprosesan data - Melaksanakan pemantauan dan amaran moden untuk mengenal pasti dan menyelesaikan kegagalan saluran paip secara proaktif Kursus ini bermula dengan definisi teras dan prinsip seni bina sebelum beralih kepada strategi pelaksanaan praktikal menggunakan logik berasaskan SQL dan Python. Anda akan membaca penjelasan terperinci tentang reka bentuk saluran paip dan meneroka cara menyusun kod untuk kebolehselenggaraan dan prestasi. Program ini direka untuk pemula dalam kejuruteraan data yang mempunyai pemahaman asas tentang SQL dan Python dan bersedia untuk mengaplikasikan kemahiran tersebut kepada pemprosesan data berskala awan. Mula membina saluran data sedia pengeluaran hari ini.