Podstawy Apache Beam: praktyczne przetwarzanie danych

Przetwarzanie danych może być złożone, zwłaszcza w przypadku danych wsadowych i strumieniowych.Apache Beam oferuje potężny, ujednolicony model, który upraszcza to wyzwanie. Ten kurs poprowadzi Cię przez podstawowe koncepcje Apache Bea... [+] Pod koniec będziesz w stanie pewnie zastosować zasady Beam do rzeczywistych scenariuszy. Czego się nauczysz: * Zrozum podstawowe zasady Apache Beam, jego model programowania i kluczowe pojęcia, takie jak PCollections i Transforms. * Naucz się konstruować potoki danych wsadowych i strumieniowych przy użyciu wspólnych źródeł danych i zlewozmywaków. * Zastosuj niezbędne transformacje danych, aby oczyścić, zgromadzić i wzbogacić dane w swoich rurociągach. * Ćwicz budowanie praktycznych rozwiązań przetwarzania danych poprzez praktyczne ćwiczenia kodowania. * Konfigurowanie podstawowych opcji rurociągu i wykonywanie ruroprowadzeń Beam za pomocą lokalnych biegaczy. * Opracowanie strategii testowania rurociągów Beam w celu zapewnienia integralności i poprawności danych. * Dowiedz się, jak zunifikowany model obsługuje zarówno nieograniczone, jak i ograniczone strumienie danych. Kurs rozpoczyna się od wprowadzenia do architektury i podstawowych komponentów Beam, a następnie przechodzi przez praktyczne przykłady manipulacji danymi, kończąc się ćwiczeniami, które konsolidują zrozumienie budowy i testowania rurociągu. Ten kurs jest przeznaczony dla początkujących z podstawową wiedzą programistyczną, którzy chcą wejść w świat inżynierii danych i przetwarzania danych na dużą skalę za pomocą Apache Beam.Nie jest wymagane wcześniejsze doświadczenie z Beam lub systemami rozproszonymi.Rozpocznij swoją podróż, aby opanować Apache beam i zbudować solidne rozwiązania danych już dziś.