Apache Spark 3 và Kỹ thuật dữ liệu lớn với Scala

Điều này sẽ giúp các lập trình viên chuyển sang kỹ thuật dữ liệu lớn bằng cách nắm vững các thành phần cốt lõi của hệ sinh thái Spark. Bạn sẽ chuyển từ việc hiểu cấu trúc dữ liệu cơ bản đến xây dựng phức tạp, các đường ống xử lý phân phối có thể xử lí terabytes thông tin. Cuối khóa học này, bạn sẽ có một mô hình tinh thần vững chắc về cách thức hoạt động của các hệ thống phân tán và kỹ năng thực tế để viết mã Scala sẵn sàng cho các nhiệm vụ đòi hỏi nhiều dữ liệu. Bạn sẽ có thể định hướng sự trao đổi giữa các API Spark khác nhau và thực hiện tối ưu hóa để đảm bảo các ứng dụng của bạn chạy hiệu quả theo quy mô. Bạn sẽ học được: - Hiểu kiến trúc của Spark và cách nó quản lý tính toán phân tán trên một cụm. - Xử lý dữ liệu cấu trúc hiệu quả bằng cách sử dụng API Spark SQL và DataFrame. - Apply type-safe data transformations with Datasets for robust and maintainable application development. - Quản lý trừu tượng dữ liệu cấp thấp và logic tùy chỉnh sử dụng Resilient Distributed Datasets (RDDs). - Tối ưu hiệu suất ứng dụng bằng cách sử dụng các kỹ thuật hiện đại như Adaptive Query Execution và shuffling hiệu quả. - Thực hiện lọc dữ liệu phức tạp, tổng hợp và tham gia các chiến lược cho các tập dữ kiện quy mô lớn. - Thực hành gỡ lỗi và giám sát các ứng dụng phân phối để đảm bảo tính toàn vẹn và hiệu suất dữ liệu. Mỗi mô- đun tập trung vào việc đọc và phân tích các mã để đảm bảo bạn có thể áp dụng các khái niệm này vào các trường hợp thực tế. Chương trình này được thiết kế cho những nhà phát triển có kiến thức cơ bản về Scala và muốn bước vào thế giới của dữ liệu lớn. Không cần kinh nghiệm trước đó với Spark hay các hệ thống phân tán. Bắt đầu xây dựng các giải pháp dữ liệu hiệu suất cao với Spark và Scala ngay hôm nay.