Apache Beam Fundamentals: Katas xử lý dữ liệu thực tế

Xử lý dữ liệu có thể phức tạp, đặc biệt khi xử lý cả dữ kiện theo loạt và theo luồng. Apache Beam cung cấp một mô hình mạnh mẽ, thống nhất để đơn giản hóa thách thức này. Chương trình này sẽ hướng dẫn bạn qua các khái niệm cốt lõi của Apache beam, cho phép bạn thiết kế, xây dựng, và thử nghiệm các đường dẫn dữ liêu hiệu quả cho các ứng dụng khác nhau. Cuối cùng, các bạn sẽ có thể tự tin áp dụng các nguyên tắc của Beam vào các tình huống trong thế giới thực. Bạn sẽ học được: * Hiểu các nguyên tắc cốt lõi của Apache Beam, mô hình lập trình của nó, và các khái niệm quan trọng như PCollections và Transforms. * Học cách xây dựng các đường ống dữ liệu hàng loạt và truyền thông bằng cách sử dụng nguồn dữ kiện và bể thông thường. * Apply essential data transformations to clean, aggregate, and enrich data within your pipelines. * Thực hành xây dựng các giải pháp xử lý dữ liệu thực tế thông qua các bài tập mã hóa. * Cấu hình các tùy chọn đường ống cơ bản và thực hiện đường ống Beam bằng các chạy địa phương. * Phát triển chiến lược để kiểm tra các đường ống Beam để đảm bảo tính toàn vẹn và chính xác của dữ liệu. * Tìm hiểu cách mô hình thống nhất xử lý cả dòng dữ liệu không giới hạn và giới hạn một cách liền mạch. Chương trình bắt đầu với một giới thiệu về kiến trúc và các thành phần cơ bản của Beam, sau đó tiến hành qua các ví dụ thực tế về thao tác dữ liệu, lên đến đỉnh điểm trong các bài tập củng cố hiểu biết của bạn về xây dựng và kiểm tra đường ống. Chương trình này được thiết kế cho người mới bắt đầu với kiến thức lập trình cơ bản, muốn bước vào thế giới của kỹ thuật dữ liệu và xử lý dữ kiện quy mô lớn với Apache Beam. Không cần phải có kinh nghiệm trước đó với Beam hay các hệ thống phân tán. Bắt đầu hành trình của bạn để trở thành người thành thạo Apache beam và xây dựng các giải pháp dữ liêu mạnh mẽ ngay hôm nay.