أباشي سبارك 3 وهندسة البيانات الضخمة مع سكالا

تتطلب متطلبات البيانات الحديثة أدوات يمكنها التعامل مع مجموعات البيانات الضخمة عبر المجموعات الموزعة بسرعة وموثوقية. وتوفر هذه الدورة مساراً واضحاً للمبرمجين للانتقال إلى هندسة البيانات الضخمة من خلال إتقان المكونات الأساسية لنظام سبارك البيئي. وستتحرك من فهم هياكل البيانات الأساسية إلى بناء أنابيب معالجة معقدة وموزعة يمكنها التعامل مع تيرابايت من المعلومات. بحلول نهاية هذه الدورة، سيكون لديك نموذج عقلي متين لكيفية عمل الأنظمة الموزعة والمهارات العملية لكتابة رمز Scala جاهز للإنتاج للمهام الكثيفة البيانات. سيكون بإمكانك التنقل في المقايضات بين مختلف واجهات برمجة التطبيقات Spark وتنفيذ التحسينات التي تضمن تشغيل تطبيقاتك بكفاءة على نطاق واسع. ماذا ستتعلم: - فهم بنية سبارك وكيفية إدارتها للحوسبة الموزعة عبر مجموعة. - معالجة البيانات المنظمة بكفاءة باستخدام برامجيات Spark SQL و DataFrame API. - تطبيق تحويلات البيانات المأمونة من حيث النوع مع مجموعات البيانات من أجل تطوير تطبيقات قوية وقابلة للصيانة. - إدارة عمليات تجريد البيانات المنخفضة المستوى والمنطق المخصص باستخدام مجموعات البيانات الموزعة المرنة. - تحقيق أداء التطبيقات على النحو الأمثل باستخدام تقنيات حديثة مثل تنفيذ الاستفسارات المتكيّف وخلط البيانات بكفاءة. - تنفيذ استراتيجيات معقدة لفرز البيانات وتجميعها والجمع بينها في مجموعات البيانات الكبيرة. - ممارسة تصحيح ورصد التطبيقات الموزعة لضمان سلامة البيانات وأدائها. تبدأ الدورة بتعريفات أساسية للحوسبة الموزعة وداخليات سبارك قبل التقدم من خلال معالجة البيانات المنظمة والتحسينات المنخفضة المستوى. تركز كل وحدة على قراءة وتحليل تنفيذات الشفرة لضمان قدرتك على تطبيق هذه المفاهيم على سيناريوهات العالم الحقيقي. هذه الدورة مصممة للمطورين الذين لديهم فهم أساسي للغة سكالا ويرغبون في دخول عالم البيانات الضخمة. لا تحتاج إلى خبرة سابقة مع سبارك أو النظم الموزعة. ابدأ في بناء حلول بيانات عالية الأداء مع سبارك وسكالا اليوم.