Основы ETL и ELT данных конвейеров

Необходимо переместить данные из различных источников в центральное хранилище для анализа? Понимание того, как построить надежные конвейеры данных, является фундаментальным навыком для любого специалиста по данным. Этот курс представляет собой практическое введение в основные принципы ETL (Extract, Transform, Load) и ELT (Extraction, Loads, Transformation). Вы узнаете полный жизненный цикл интеграции данных, от извлечения данных из различных систем до загрузки их в хранилище данных и подготовки к анализу. Вы получите фундаментальные знания для разработки и реализации собственных простых конвейеров данных. Что вы узнаете: - Понять основные различия между ЭУП и ЭУТ и когда использовать каждый подход. - Узнайте три основных этапа: извлечение из API и баз данных, преобразование данных для обеспечения качества и согласованности и загрузка в хранилище данных. - Практика разработки базовой схемы конвейера данных для общего бизнес-сценара. - Изучите концепции современных инструментов для оркестрации (например, Apache Airflow) и трансформации (на пример dbt). - Примените основные проверки качества данных, чтобы убедиться, что ваши данные являются надежными и достоверными. - Создать полный, простой конвейер данных от источника до назначения с помощью письменных упражнений. - Основы работы с облачными платформами и хранилищами данных. Курс начинается с основных терминов и архитектурных концепций, лежащих в основе интеграции данных. Затем вы пройдете пошаговые объяснения каждого этапа конвейера, применяя то, что вы узнаете, для построения функционального рабочего процесса. Этот курс предназначен для абсолютно начинающих. Он идеально подходит для начинающих инженеров данных, аналитиков данных и всех, кто только начинает работать в области интеграции данных. Нет необходимости иметь предыдущий опыт работы с конвейерами данных. Начните свое путешествие в области обработки данных и научитесь управлять потоком данных уже сегодня.