Инженерная разработка пакетных потоков данных с помощью Dataflow и Dataproc

Эффективная обработка больших массивов данных является основой современной бизнес-аналитики и отчетности. Этот курс научит вас переходить от простых сценариев данных к разработке надежных, автоматизированных пакетных конвейеров, которые легко обрабатывают крупномасштабные преобразования. Вы приобретете навыки, необходимые для управления перемещением и преобразованием данных в масштабе, используя отраслевые стандартные облачные технологии. Что вы узнаете: - Понимание основных концепций инженерии данных, включая модели ETL / ELT и архитектуры пакетной обработки - Создание бессерверных задач по обработке данных с использованием Apache Beam на Dataflow для унифицированной обработки данных - Настройте Dataproc Serverless для запуска приложений Spark без необходимости управления базовой инфраструктурой - Проведение проверок качества данных и моделей наблюдаемости для обеспечения надежности и точности трубопроводов - Оркестрировать сложные рабочие процессы и управлять зависимостями между различными этапами обработки данных - внедрение современных систем мониторинга и оповещения для упреждающего выявления и устранения аварий на трубопроводах; Курс начинается с основных определений и принципов архитектуры, а затем переходит к практическим стратегиям реализации с использованием логики на основе SQL и Python. Вы прочитаете подробные объяснения по проектированию конвейера и изучите, как структурировать код для обслуживания и производительности. Эта программа предназначена для начинающих в области обработки данных, которые имеют базовое понимание SQL и Python и готовы применить эти навыки к обработке данных в облачном масштабе. Начните создавать готовые к производству конвейеры данных сегодня.