การวิเคราะห์ข้อมูลเชิงปฏิบัติการด้วยภาษาไพธอนและสปาร์ค

รู้สึกอึดอัดกับชุดข้อมูลที่ใหญ่เกินไปหรือช้าเกินไปสำหรับเครื่องมือแบบดั้งเดิมหรือไม่? เรียนรู้วิธีใช้พลังของการคำนวณแบบกระจายเพื่อประมวลผลข้อมูลจำนวนมากอย่างมีประสิทธิภาพด้วยภาษาไพธอนและแอปเปิ้ลสปาร์ค หลักสูตรนี้จะให้ความรู้พื้นฐานเกี่ยวกับ PySpark แบบใช้ข้อความ นำคุณไปสู่แนวคิดหลักในการสร้างและทำงานของโปรแกรมวิเคราะห์ข้อมูลจริง คุณจะฝึกการแปลงข้อมูลดิบ ทำการรวมข้อมูลที่ซับซ้อน และสร้างโครงสร้างโค้ดของคุณเพื่อการประมวลผลที่ปรับขนาดได้บนระบบกระจายข้อมูล ทั้งหมดนี้จะผ่านการอธิบายแบบเขียนและฝึกปฏิบัติที่ชัดเจน คุณจะเรียนรู้อะไร เข้าใจหลักการของสถาปัตยกรรมของสปาร์ค รวมถึงการกระจายการประมวลผลและการประเมินความช้า - ใช้ DataFrame API อย่างถูกต้อง ในการจัดการ, เลือก, และรวมข้อมูล - สร้างระบบประมวลผลข้อมูลที่ใช้ได้จริง ใช้ชุดการแปลงและการกระทำที่หลากหลายของ PySpark - ถามข้อมูลขนาดใหญ่ ด้วยเครื่องมือ Spark SQL - เรียนรู้พื้นฐานของการประมวลผลข้อมูลแบบทันที ด้วยสไตล์สตรีมของสปาร์ค - สำรวจพื้นฐานของสถาปัตยกรรมเลคเฮ้าส์ และแนวคิดการเก็บข้อมูลการทำธุรกรรม - ฝึกเตรียมและทำงานแอพพลิเคชั่น Spark บนคลัสเตอร์ เพื่อประสิทธิภาพที่ปรับขนาดได้ หลักสูตรนี้เริ่มต้นด้วยคำศัพท์พื้นฐานและหลักการพื้นฐานของ Spark ก่อนที่จะพัฒนาไปสู่การฝึกปฏิบัติด้วย DataFrames, SQL และ Streaming คุณจะสร้างทักษะของคุณขึ้นมาเป็นขั้นตอน เตรียมพร้อมให้คุณรับมือกับความท้าทายของข้อมูลที่ซับซ้อน หลักสูตรนี้ถูกออกแบบสำหรับผู้เริ่มต้น โดยไม่ต้องมีประสบการณ์ก่อนหน้านี้กับกรอบ Big Data หรือการคำนวณแบบกระจายตัว อย่างไรก็ตาม ความคุ้นเคยกับภาษาไพธอนระดับพื้นฐานจะช่วยได้มาก เริ่มต้นการเดินทางของคุณ เข้าสู่โลกของการวิเคราะห์ข้อมูลขนาดใหญ่วันนี้