Praktyczna inżynieria danych: budowanie potoków za pomocą Spark, Kafka i Airflow

Nowoczesne firmy generują codziennie ogromne ilości danych, ale dane te są bezużyteczne bez solidnych potoków do przetwarzania, czyszczenia i przechowywania.Ten kurs tekstowy prowadzi przez podstawowe pojęcia inżynierii danych, przenosząc Cię z surowych danych do gotowych do produkcji potoków. Przejdziesz od początkującego do pewnego praktyka zdolnego do projektowania i automatyzacji przepływów pracy zarówno wsadowych, jak i strumieniowych.Dzięki jasnym pisemnym wyjaśnieniom i praktycznym przewodnikom po kodzie opanujesz podstawowe narzędzia używane przez nowoczesne zespoły danych. Co się nauczysz: Zrozum podstawową architekturę nowoczesnych platform danych i systemów pamięci masowej; Buduj zautomatyzowane potoki ETL za pomocą Airflow do planowania i monitorowania przepływów danych; Wydajnie przetwarzaj duże zbiory danych za pomoca PySpark i Pandas; Skonfiguruj potoki danych strumieniowych w czasie rzeczywistym za pomocę Kafka do natychmiastowego przetwarzania danych; Konteneryzacja aplikacji danych za pomocą Docker w celu zapewnienia spójnych środowisk;Oczyść, analizuj i sprawdzaj przychodzące dane, aby utrzymać wysokie standardy jakości danych.Kurs rozpoczyna się od podstawowych definicji inżynierii danych, baz danych i konteneryzacji. Następnie będziesz postępować krok po kroku poprzez przetwarzanie wsadowe, przetwarzać strumień i orkiestrację potoku przy użyciu rzeczywistych scenariuszy. Ten kurs jest przeznaczony dla początkujących inżynierów danych, programistów i analityków danych z podstawową znajomością Pythona.Nie jest wymagane wcześniejsze doświadczenie z narzędziami Big Data lub DevOps. Zacznij czytać już dziś, aby zbudować swój pierwszy niezawodny potoczek danych.