Ноутбуки Fabric для инженерии данных и PySpark

Современная обработка данных требует масштабируемых, облачных сред для эффективной обработки массивных наборов данных. Fabric Notebooks объединяет в себе мощность Apache Spark и рабочее пространство для совместной работы, позволяя оптимизировать весь конвейер подготовки данных. Этот текстовый курс поможет вам освоить основы облачного инжиниринга данных и начать писать готовые к производству сценарии преобразований. Вы узнаете, как подключаться к lakehouses, запрашивать данные с помощью Spark SQL и применять сложные преобразования с помощья PySpark, следуя современным методам обработки данных. Что вы узнаете: 1. Понимание основной архитектуры ноутбуков Fabric и формата Delta lakehouse. 2. Написать эффективные Spark SQL запросы для фильтрации, агрегирования и объединения больших наборов данных. 3. Применение PySpark DataFrames для выполнения расширенных программных преобразований данных. 4. Настройка подключений к различным хранилищам данных, включая хранилища данных и склады. 5. Внедрение передовых методов современной обработки данных, включая обеспечение соблюдения схемы и чистоту структуры кода. 6. Оптимизировать производительность ноутбука для обработки крупномасштабных задач по обработке данных. Курс начинается с основных понятий, знакомя вас с рабочей зоной Fabric и основными операциями с ноутбуком. Затем вы пройдете пошаговые письменные учебники и упражнения по структурированному коду, которые научат вас читать, преобразовывать и записывать данные. Этот курс предназначен для начинающих инженеров данных, аналитиков данных и администраторов баз данных. Не требуется предыдущего опыта работы с Fabric или Spark, хотя полезно иметь базовые знания SQL и Python. Начните читать сегодня, чтобы преобразовать основные данные с помощью Fabric notebooks.