ระบบสายส่งข้อมูลแบบปฏิบัติการ ด้วย Apache Airflow

เบื่อกับการทำงานสคริปต์ข้อมูลด้วยมือและต้องพยายามตามรอยความขึ้นอยู่ของมันหรือยัง? เรียนรู้วิธีการทำงานอัตโนมัติและจัดการกระบวนการข้อมูลที่ซับซ้อนด้วย Apache Airflow เครื่องมือมาตรฐานของอุตสาหกรรมสำหรับงานจัดวางกระบวนการทำงาน หลักสูตรนี้จะให้การแนะนำที่ครบถ้วนและเป็นแบบข้อความเกี่ยวกับการสร้างระบบข้อมูลที่เชื่อถือได้ คุณจะเรียนรู้จากหลักการพื้นฐานไปจนถึงการใช้งานจริง เรียนรู้การกำหนด, วางแผน, และติดตามกระบวนการทำงานของคุณโดยใช้โค้ดทั้งหมด จนถึงตอนจบ คุณจะมีความรู้พื้นฐานในการสร้างระบบข้อมูลที่แข็งแรง, สามารถทำซ้ำได้, และสามารถสังเกตได้สำหรับโปรเจคของคุณเอง คุณจะเรียนรู้อะไร - เข้าใจหลักการของ Airflow รวมถึง DAGs, Operators, Tasks และสถาปัตยกรรมพื้นฐานของมัน - สร้างระบบข้อมูล ของคุณตั้งแต่ต้น ระบุงานที่ต้องทำ และกำหนดการทำงาน - ใช้ TaskFlow API สมัยใหม่ เขียน pipelines ข้อมูลที่สะอาด ตรงไปตรงมา และเป็นภาษา Python ดั้งเดิม - เรียนรู้การใช้ Hooks และ Connections เพื่อเชื่อมต่ออย่างปลอดภัย กับระบบภายนอก เช่นฐานข้อมูลและบริการคลาวด์ - ฝึกสอนการส่งข้อมูลระหว่างงาน ใช้เครื่องมือ XCom ของ Airflow - นิยามความสัมพันธ์ระหว่างข้อมูลและสายเลือด ใช้คุณสมบัติสมัยใหม่ เช่น การกำหนดเวลาและทรัพย์สินที่รู้ข้อมูล - สำรวจตัวประมวลผล Airflow ต่างๆ และเข้าใจหลักการของการปรับขนาดการจัดเรียงข้อมูล หลักสูตรนี้เริ่มต้นด้วยหลักการพื้นฐานของการจัดเรียงข้อมูล และส่วนประกอบหลักของ Airflow จากนั้นคุณจะพัฒนาผ่านการฝึกปฏิบัติการเขียน เพื่อสร้างและจัดการกับการสื่อสารข้อมูลอย่างสมบูรณ์ หลักสูตรนี้ถูกออกแบบมาสำหรับผู้เริ่มต้น โดยไม่ต้องมีประสบการณ์ก่อนหน้านี้กับ Apache Airflow หรือการจัดเรียงข้อมูล อย่างไรก็ตาม ความเข้าใจพื้นฐานของภาษาไพธอนจะช่วยได้มาก เริ่มสร้างระบบข้อมูลอัตโนมัติได้แล้ววันนี้