Phát triển Pipeline Dataflow với Apache Beam

Kỹ thuật dữ liệu hiện đại đòi hỏi khả năng xử lý các tập dữ liệu khổng lồ trong thời gian thực mà không cần quản lý cơ sở hạ tầng phức tạp. Khóa học này hướng dẫn bạn quy trình xây dựng các pipeline dữ liệu mạnh mẽ, không máy chủ (serverless) có thể xử lý cả dữ liệu batch lịch sử và các sự kiện streaming trực tiếp. Bạn sẽ bắt đầu bằng cách nắm vững các thuật ngữ cơ bản và kiến trúc của xử lý dữ liệu hợp nhất. Những gì bạn sẽ học: - Hiểu các khái niệm cốt lõi của Apache Beam và cách nó thực thi trên Dataflow. - Triển khai các chiến lược windowing, watermarks và triggers để xử lý dữ liệu đến muộn. - Định nghĩa dữ liệu có cấu trúc bằng cách sử dụng schemas để đơn giản hóa logic pipeline và cải thiện hiệu quả. - Áp dụng các phép biến đổi có trạng thái (stateful transformations) bằng cách sử dụng State và Timer APIs để xử lý sự kiện nâng cao. - Cấu hình các nguồn (sources) và đích (sinks) đa dạng để tích hợp với các hệ thống lưu trữ và nhắn tin khác nhau. - Thực hành các kỹ thuật quan sát và gỡ lỗi pipeline hiện đại cho các quy trình làm việc sản xuất đáng tin cậy. Khóa học bắt đầu với các định nghĩa thiết yếu và mô hình Beam trước khi đi sâu vào các mẫu streaming phức tạp và các phương pháp hay nhất để tối ưu hóa pipeline. Chương trình này dành cho người mới bắt đầu muốn tham gia vào thế giới kỹ thuật dữ liệu, không yêu cầu kinh nghiệm phát triển pipeline trước đó. Hãy bắt đầu xây dựng các giải pháp dữ liệu có khả năng mở rộng ngay hôm nay.