Spark SQL và PySpark cho phân tích dữ liệu lớn

Khi lượng dữ liệu tăng lên, cơ sở dữ kiện SQL tiêu chuẩn thường đạt tới giới hạn của nó, khiến cho việc tính toán phân tán trở thành một kỹ năng quan trọng cho các chuyên gia dữ liêu hiện đại. Chương trình này dạy bạn cách sử dụng Spark SQL để truy vấn và phân tích dữ Lại lớn bằng cách sử Dùng logic quen thuộc của SQL tích hợp với Python. Bạn sẽ tiến hành từ việc tạo bảng cơ bản đến các kỹ thuật phân tích cao cấp, bao gồm phân tích chuỗi thời gian và xử lý ngôn ngữ tự nhiên. Bạn cũng sẽ hiểu cách tối ưu hóa lượng công việc của bạn bằng cách sử dụng các công cụ nhớ tạm và giám sát hiệu suất trong hệ sinh thái Spark để đảm bảo các đường ống dữ liệu của bạn hiệu quả và có thể mở rộng. Bạn sẽ học được: - Hiểu kiến trúc cơ bản của Spark và cách nó thực hiện truy vấn SQL trên một cụm phân phối - Tạo và quản lý bảng Spark và DataFrames để tổ chức các tập dữ liệu quy mô lớn một cách hiệu quả - Ứng dụng các chức năng cửa sổ nâng cao để thực hiện tổng số chạy, phân tích dẫn/chậm, và các thao tác chuỗi thời gian phức tạp - Xử lý văn bản ngôn ngữ tự nhiên để trích xuất các tính năng và chuẩn bị dữ liệu cho các luồng công việc học máy - Thực hiện các mô hình hồi quy logistic để phân loại văn bản và dự đoán kết quả trực tiếp trong môi trường Spark - Thực hành các kỹ thuật tối ưu hóa bao gồm lưu tạm, ghi chép, và sử dụng giao diện người dùng Spark để theo dõi hiệu suất truy vấn Chương trình bắt đầu với các khái niệm cơ bản về dữ liệu phân tán và thuật ngữ chính trước khi chuyển sang các thao tác SQL thực tế, các hàm phân tích tiên tiến, và các ứng dụng học máy thực tế. Bạn sẽ đọc qua các giải thích chi tiết và áp dụng kiến thức của bạn qua các bài tập viết được thiết kế để mô phỏng các thách thức dữ kiện thế giới thực. Chương trình này được thiết kế cho người mới bắt đầu với kiến thức cơ bản về SQL và Python, muốn bước vào thế giới của kỹ thuật và phân tích dữ liệu lớn. Không cần phải có kinh nghiệm trước đó với các hệ thống phân tán. Bắt đầu xây dựng các giải pháp dữ liệu có thể mở rộng với Spark SQL ngay hôm nay.