بناء خطوط أنابيب البيانات باستخدام Shell و Airflow و Kafka

في عالم اليوم المعتمد على البيانات، تعد القدرة على نقل البيانات وتحويلها بكفاءة مهارة أساسية لأي مطور أو محترف بيانات. يرشدك هذا الدورة التدريبية القائمة على النصوص عبر المفاهيم الأساسية لـ ETL و ELT، مما يوضح لك كيفية بناء خطوط أنابيب بيانات موثوقة من الصفر. ستنتقل تدريجياً من فهم نظريات تكامل البيانات الأساسية إلى بناء خطوط أنابيب قادرة على العمل. ستتعلم كيفية أتمتة المهام باستخدام نصوص Shell، وتنظيم تدفقات العمل المعقدة باستخدام Airflow (بما في ذلك أنماط TaskFlow API الحديثة)، والتعامل مع تدفقات البيانات في الوقت الفعلي باستخدام Kafka. ما ستتعلمه: - فهم الاختلافات الأساسية بين بنيات ETL و ELT ومتى يتم تطبيق كل منها. - كتابة نصوص Shell لأتمتة مهام استخراج وتحويل وتحميل البيانات الأساسية. - تنظيم تدفقات بيانات متعددة الخطوات باستخدام Airflow DAGs واصطلاحات TaskFlow API الحديثة. - تكوين Kafka لاستيعاب ومعالجة وبث بيانات الأحداث في الوقت الفعلي. - تطبيق ممارسات خطوط الأنابيب الحديثة، بما في ذلك التنفيذ داخل الحاويات والتحقق الأساسي من صحة البيانات. تبدأ الدورة بالمصطلحات الأساسية والمفاهيم المعمارية قبل الانتقال إلى الأدلة المكتوبة خطوة بخطوة وتمارين التكوين. ستستكشف سيناريوهات عملية للمعالجة على دفعات والبث في الوقت الفعلي بناء مجموعة مهارات متكاملة. تم تصميم هذه الدورة التدريبية للمبتدئين في هندسة البيانات، ولا تتطلب سوى الإلمام الأساسي بالبرمجة ودون الحاجة لأي خبرة سابقة في خطوط الأنابيب. ابدأ القراءة اليوم لإتقان الأدوات التي تغذي البنية التحتية الحديثة للبيانات.