Fabric Notebooks dla inżynierii danych i PySpark

Nowoczesna inżynieria danych wymaga skalowalnych środowisk opartych na chmurze, aby efektywnie przetwarzać ogromne zbiory danych. Fabric Notebooks łączy moc Apache Spark z przestrzenią roboczą do współpracy, aby usprawnić cały potoczek przygotowania danych. Ten kurs tekstowy prowadzi od absolutnych podstaw inżynierii danych w chmurze do pisania gotowych do produkcji skryptów transformacji. Zrozumiesz, jak łączyć się z lakehouses, zapytać o dane za pomocą Spark SQL i zastosować złożone transformacje za pomoca PySpark, a wszystko to zgodnie z nowoczesnymi praktykami danych. Czego się nauczysz: 1. Poznaj podstawową architekturę notebooków Fabric i format Delta lakehouse. 2. Napisz wydajne zapytania Spark SQL, aby filtrować, agregować i łączyć duże zestawy danych. 3. Zastosuj PySpark DataFrames do wykonywania zaawansowanych transformacji danych programowych. 4. Skonfiguruj połączenia z różnymi magazynami danych, w tym z magazynam i magazynem. 5. Wdrożyć nowoczesne najlepsze praktyki inżynierii danych, w tym egzekwowanie schematu i czystą strukturę kodu. 6. Zoptymalizuj wydajność notebooka do obsługi zadań przetwarzania danych na dużą skalę. Kurs rozpoczyna się od podstawowych pojęć, wprowadzających do obszaru roboczego Fabric i podstawowych operacji notebooka. Następnie przejdziesz krok po kroku przez samouczki i ćwiczenia z kodem strukturalnym, które nauczą Cię czytać, przekształcać i zapisywać dane. Ten kurs jest przeznaczony dla początkujących inżynierów danych, analityków danych i administratorów baz danych, którzy chcą nauczyć się transformacji danych w chmurze. Nie jest wymagane wcześniejsze doświadczenie z Fabric lub Sparkiem, chociaż pomocna jest podstawowa znajomość SQL i Pythona. Zacznij czytać już dziś, aby przekształcić dane główne za pomocą notebooków Fabric.