การจัดการเวิร์กโฟลว์ข้อมูลและการประมวลผลขนาดใหญ่ด้วย Docker

การจัดการชุดข้อมูลขนาดใหญ่ต้องการมากกว่าแค่การเขียนโค้ด แต่ต้องการแนวทางที่มีโครงสร้างสำหรับการจัดลำดับและการดำเนินการที่เชื่อถือได้ คอร์สนี้จะมอบเส้นทางที่ชัดเจนในการทำความเข้าใจว่าระบบข้อมูลขนาดใหญ่ถูกจัดระเบียบและบำรุงรักษาอย่างไรโดยใช้มาตรฐานอุตสาหกรรมสมัยใหม่ คุณจะได้เปลี่ยนจากการรันสคริปต์ด้วยตนเองไปสู่การออกแบบเวิร์กโฟลว์อัตโนมัติแบบคอนเทนเนอร์ที่สามารถจัดการกับงานข้อมูลที่ซับซ้อนในระดับสเกล ด้วยการมุ่งเน้นที่รูปแบบสถาปัตยกรรม คุณจะได้เรียนรู้วิธีทำให้กระบวนการข้อมูลของคุณเป็นแบบโมดูล ทำซ้ำได้ และทนทาน สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดพื้นฐานของการจัดลำดับเวิร์กโฟลว์ข้อมูลและสถาปัตยกรรมไปป์ไลน์ - กำหนดค่า Docker containers เพื่อสร้างสภาพแวดล้อมที่สอดคล้องกันสำหรับงานประมวลผลข้อมูล - ใช้รูปแบบโครงสร้างสำหรับการจัดการการพึ่งพาในเวิร์กโฟลว์ข้อมูลหลายขั้นตอน - นำกลยุทธ์การสังเกตการณ์พื้นฐานและการจัดการข้อผิดพลาดสำหรับไปป์ไลน์ข้อมูลไปใช้ - ฝึกฝนการออกแบบเวิร์กโฟลว์ที่ปรับขนาดได้ซึ่งปรับให้เข้ากับปริมาณข้อมูลและความซับซ้อนที่เพิ่มขึ้น - เรียนรู้แนวทางปฏิบัติที่ดีที่สุดสมัยใหม่สำหรับการทำคอนเทนเนอร์เวิร์กโหลดด้านวิศวกรรมข้อมูล คอร์สนี้เริ่มต้นด้วยคำศัพท์ที่จำเป็นและหลักการพื้นฐานของการเคลื่อนย้ายข้อมูล ก่อนที่จะเข้าสู่ตรรกะการปฏิบัติของการจัดการเวิร์กโฟลว์และการปรับใช้คอนเทนเนอร์ คุณจะได้อ่านคำอธิบายโดยละเอียดและนำความรู้ไปใช้ผ่านแบบฝึกหัดเชิงแนวคิด คอร์สนี้ออกแบบมาสำหรับผู้เริ่มต้นที่สนใจด้านวิศวกรรมข้อมูล การพัฒนาแบ็กเอนด์ หรือสถาปัตยกรรมระบบ และไม่จำเป็นต้องมีประสบการณ์เครื่องมือ Big Data มาก่อน เริ่มสร้างระบบข้อมูลที่แข็งแกร่งและจัดการได้ผ่านคำแนะนำที่เป็นลายลักษณ์อักษรที่มีโครงสร้าง