Inżynieria potoków danych wsadowych z Dataflow i Dataproc

Wydajne przetwarzanie ogromnych zbiorów danych jest podstawą nowoczesnej analizy biznesowej i raportowania. Ten kurs uczy, jak przejść od prostych skryptów danych do projektowania niezawodnych, zautomatyzowanych potoków wsadowych, które z łatwością obsługują transformacje na dużą skalę.Zdobędziesz umiejętności potrzebne do zarządzania przenoszeniem i transformacją danych na dużą skalę przy użyciu standardowych technologii chmurowych. Czego się nauczysz: - Zrozum podstawowe koncepcje inżynierii danych, w tym wzorce ETL / ELT i architektury przetwarzania wsadowego - Twórz bezserwerowe zadania przetwarzania danych za pomocą Apache Beam na Dataflow w celu ujednoliconej obsługi danych - Skonfiguruj Dataproc Serverless do uruchamiania aplikacji Spark bez konieczności zarządzania bazową infrastrukturą - Zastosuj kontrole jakości danych i wzorce obserwacji, aby zapewnić niezawodność i dokładność rurociągu - Orkiestruj złożone przepływy pracy i zarządzaj zależnościami między różnymi etapami przetwarzania danych - Wdrożyć nowoczesne monitorowanie i ostrzeganie, aby proaktywnie identyfikować i rozwiązywać awarie rurociągów Kurs zaczyna się od podstawowych definicji i zasad architektonicznych, zanim przejdzie do praktycznych strategii implementacji przy użyciu logiki opartej na SQL i Pythonie. Przeczytasz szczegółowe wyjaśnienia dotyczące projektowania rurociągów i dowiesz się, jak zbudować kod dla łatwości utrzymania i wydajności. Ten program jest przeznaczony dla początkujących w inżynierii danych, którzy mają podstawową wiedzę na temat SQL i Pythona i są gotowi zastosować te umiejętności do przetwarzania danych w chmurze.