هندسة أنابيب البيانات بالدفعات باستخدام Dataflow و Dataproc

إن معالجة مجموعات البيانات الضخمة بكفاءة هي العمود الفقري لذكاء الأعمال والإبلاغ الحديث. هذه الدورة تعلمك كيفية الانتقال من نصوص البيانات البسيطة إلى تصميم أنابيب دفعة قوية وآلية تتعامل مع التحولات الكبيرة بسهولة. ستكتسب المهارات اللازمة لإدارة حركة البيانات والتحول على نطاق واسع باستخدام تكنولوجيات السحابة القياسية في الصناعة. ماذا ستتعلم: - فهم المفاهيم الهندسية الأساسية للبيانات بما في ذلك أنماط ETL/ELT والهندسة المعمارية للمعالجة بالدفعات - إنشاء وظائف لتجهيز البيانات بدون خادم باستخدام نظام Apache Beam على Dataflow لمعالجة البيانات بصورة موحدة - تشكيل نظام Dataproc Serverless لتشغيل تطبيقات Spark دون الحاجة إلى إدارة الهياكل الأساسية - تطبيق عمليات التحقق من نوعية البيانات وأنماط قابلية المراقبة لضمان موثوقية ودقة خطوط الأنابيب - تنسيق سير العمل المعقد وإدارة أوجه الترابط بين مختلف مراحل تجهيز البيانات - تنفيذ نظم حديثة للرصد والإنذار من أجل تحديد ومعالجة أعطال خطوط الأنابيب بصورة استباقية تبدأ الدورة بتعريفات أساسية ومبادئ هندسية قبل الانتقال إلى استراتيجيات التنفيذ العملية باستخدام منطق SQL و Python. وستقرأ شروحات مفصلة لتصميم خط الأنابيب وستستكشف كيفية هيكلة الرمز لإمكانية الصيانة والأداء. هذا البرنامج مصمم للمبتدئين في هندسة البيانات الذين لديهم فهم أساسي لـ SQL و Python وهم مستعدون لتطبيق هذه المهارات على معالجة البيانات على نطاق السحابة. ابدأ في بناء خطوط أنابيب البيانات الجاهزة للإنتاج اليوم.