ระบบอัตโนมัติกระบวนการทำงานของข้อมูลด้วย Apache Airflow และ Python

การจัดการการส่งข้อมูลโดยใช้สคริปต์และงาน cron มักจะนำไปสู่ข้อผิดพลาดและความยากลำบากในการดูแลรักษาเมื่อโครงการมีการขยายขนาด หลักสูตรนี้จะสอนคุณเกี่ยวกับวิธีการใช้ Apache Airflow เพื่อนำโครงสร้าง, ความน่าเชื่อถือ, และอัตโนมัติมาใช้กับงานวิศวกรรมข้อมูลของคุณ คุณจะเปลี่ยนจากการเขียนสคริปต์ที่แยกออกจากกันไปเป็นการพัฒนากระบวนการทำงานที่แข็งแรงและสามารถทำซ้ำได้ซึ่งจัดการกับการกำหนดเวลาและรายงานข้อผิดพลาดได้โดยอัตโนมัติ คุณจะเรียนรู้อะไร - เข้าใจโครงสร้างพื้นฐานของ Airflow รวมถึงผู้จัดตาราง, คนงาน, และผู้ปฏิบัติงาน - สร้างกราฟแบบไม่วน (DAG) เพื่อกำหนดความสัมพันธ์ระหว่างงานและตรรกะการประมวลผล - ใช้คำสั่งภาษาไพธอน และ TaskFlow API ในการสร้างระบบข้อมูลที่ทันสมัยและอ่านได้ - ปรับปรุงการจัดการข้อผิดพลาด ลองใหม่ และแจ้งเตือน เพื่อรักษาสุขภาพของระบบ - ฝึกวางแผนการทำงานที่ซับซ้อน เพื่อให้ทำงานในช่วงเวลาที่กำหนด หรือโดยใช้ตัวกระตุ้นภายนอก - จัดการและติดตามงานที่พร้อมสำหรับการผลิต ใช้เครื่องมือจัดการ Airflow ตามมาตรฐาน หลักสูตรนี้เริ่มต้นด้วยการอธิบายพื้นฐานและแนวคิดการตั้งค่า พัฒนาไปจนถึงการสร้าง DAG ครั้งแรกของคุณ และเข้าสู่เทคนิคการจัดการท่อส่งข้อมูลขั้นสูง หลักสูตรนี้ออกแบบมาสำหรับผู้เริ่มต้นและผู้ที่ชื่นชอบภาษาไพธอนที่ต้องการเข้าสู่โลกของวิศวกรรมข้อมูลโดยไม่มีประสบการณ์การจัดระเบียบกระบวนการทำงานมาก่อน เริ่มต้นการเดินทางของคุณ เข้าสู่วิศวกรรมข้อมูลอัตโนมัติ และปรับปรุงกระบวนการพัฒนาของคุณ