Hands-On Data Engineering: Build Pipelines with Spark, Kafka, and Airflow (bằng tiếng Anh).

Các doanh nghiệp hiện đại tạo ra hàng loạt dữ liệu mỗi ngày, nhưng dữ kiện này là vô dụng nếu không có các đường ống mạnh mẽ để xử lý, làm sạch và lưu trữ nó. Chương trình chỉ có văn bản này hướng dẫn bạn qua các khái niệm cốt lõi của kỹ thuật dữ liêu, đưa bạn từ dữ liệt thô đến đường ống sẵn sàng sản xuất. Bạn sẽ chuyển từ người mới bắt đầu sang người thực hành tự tin có khả năng thiết kế và tự động hóa cả các luồng công việc xử lý hàng loạt và luồng. Qua các giải thích rõ ràng và hướng dẫn mã thực tế, bạn sẽ làm chủ các công cụ cơ bản được sử dụng bởi các nhóm dữ liệu hiện đại. Bạn sẽ học được gì: Hiểu kiến trúc cơ bản của các nền tảng dữ liệu và hệ thống lưu trữ hiện đại; Tạo các đường ống ETL tự động sử dụng Airflow để lên lịch và theo dõi các luồng dữ kiện; Xử lý các tập dữ khoản quy mô lớn hiệu quả bằng PySpark và Pandas; Cấu hình các đường dẫn dữ lượng trực tiếp thời gian thực với Kafka để xử lý dữ liêu tức thì; Containerize ứng dụng dữ liệu của bạn bằng cách sử dụng Docker để đảm bảo môi trường đồng nhất; Sạch, phân tích, và xác minh dữ kiện nhập vào để duy trì các tiêu chuẩn chất lượng dữ lượng cao. Sau đó bạn sẽ tiến hành từng bước qua xử lý theo loạt, xử lí luồng, và dàn dựng đường ống bằng các trường hợp thực tế. Chương trình này được thiết kế cho các kỹ sư dữ liệu, nhà phát triển phần mềm, và nhà phân tích dữ kiện có mong muốn với kiến thức cơ bản về Python. Không cần kinh nghiệm trước đó với các công cụ dữ lượng lớn hay DevOps. Bắt đầu đọc hôm nay để xây dựng đường ống dữ liệu đáng tin cậy đầu tiên của bạn.