การปรับขนาดแอปพลิเคชัน CUDA C++ ไปยังหลายโหนด

เมื่อความต้องการในการประมวลผลและขนาดของชุดข้อมูลเพิ่มขึ้น การเร่งความเร็วด้วย GPU เดี่ยวอาจไม่เพียงพออีกต่อไป การเปลี่ยนแอปพลิเคชันของคุณให้ทำงานบน GPU หลายตัวและโหนดเครือข่ายเป็นกุญแจสำคัญในการปลดล็อกพลังการประมวลผลประสิทธิภาพสูงที่แท้จริง หลักสูตรแบบข้อความนี้จะแนะนำคุณตลอดรูปแบบพื้นฐาน แนวคิดทางสถาปัตยกรรม และโมเดลการเขียนโปรแกรมที่จำเป็นในการปรับขนาดแอปพลิเคชันที่เร่งความเร็วด้วย GPU ของคุณ คุณจะเปลี่ยนจากการเขียนโค้ดสำหรับอุปกรณ์เดี่ยวไปสู่การประสานงานการทำงานแบบขนานที่ซับซ้อนในหลายโหนด สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจสถาปัตยกรรมหลักของระบบแบบกระจายหลาย GPU และหลายโหนด - ใช้การสื่อสารแบบหลาย GPU โดยใช้ CUDA-aware Message Passing Interface (MPI) - ประยุกต์ใช้รูปแบบการสื่อสารแบบรวมเพื่อซิงโครไนซ์ข้อมูลอย่างมีประสิทธิภาพในแต่ละโหนด - กำหนดค่าการถ่ายโอนแบบ peer-to-peer และใช้ประโยชน์จากแนวคิด GPUDirect RDMA เพื่อหลีกเลี่ยงปัญหาคอขวดของหน่วยความจำโฮสต์ - ฝึกเขียนโค้ด CUDA C++ ที่สะอาดและปรับขนาดได้ผ่านคำอธิบายที่เป็นลายลักษณ์อักษรที่มีโครงสร้างและการแนะนำโค้ดทีละขั้นตอน หลักสูตรนี้เริ่มต้นด้วยคำจำกัดความพื้นฐานของระบบหน่วยความจำแบบกระจาย โทโพโลยีเครือข่าย และพื้นฐานการสื่อสารแบบหลาย GPU จากนั้นคุณจะก้าวหน้าผ่านคำอธิบายที่เป็นลายลักษณ์อักษรของโปรโตคอลการสื่อสาร การถ่ายโอนแบบ peer-to-peer และการจัดการหลายโหนด หลักสูตรนี้ออกแบบมาสำหรับนักพัฒนาที่มีความเข้าใจพื้นฐานเกี่ยวกับ CUDA C++ แบบ GPU เดี่ยวและต้องการเรียนรู้วิธีการปรับขนาดแอปพลิเคชันของตน ไม่จำเป็นต้องมีประสบการณ์มาก่อนกับคลัสเตอร์หลายโหนดหรือ MPI เริ่มปรับขนาดทักษะการประมวลผลแบบขนานของคุณวันนี้