Основы инженерии данных: конвейеры, хранилища и рабочие процессы

Каждое решение, основанное на данных, зависит от надежного и надёжного конвейера, который обеспечивает чистые, структурированные данные. Понимание того, как создаётся и поддерживается эта инфраструктура, является первым шагом к овладению современной экосистемой данных. Этот курс раскроет вам тайны области инженерии данных, проведет вас через основные концепции, терминологию и практические рабочие процессы, которые управляют организационными данными. Вы превратитесь из любопытного новичка в человека, который с уверенностью может обсуждать, планировать и концептуализировать процессы ввода, хранения и преобразования данных. Что вы узнаете: - Понять основные обязанности инженера данных и как они сотрудничают с учеными и аналитиками данных. - Изучите стратегии ввода данных, включая пакетную обработку и потоковые конвейеры в реальном времени. - Сравните архитектуры хранения данных, от традиционных реляционных баз данных до современных озер данных и облачных складов. - Изучите основы процессов ETL и ELT, включая преобразование, очистку и каталогизацию данных. - Откройте для себя современные концепции стека данных, включая мониторинг качества данных, наблюдаемость и основные рабочие процессы оркестрации. Курс начинается с основной терминологии и основополагающей роли инженерии данных, а затем шаг за шагом продвигается по жизненному циклу данных, от сырого ввода до готовых к анализу структур. Вы прочитываете практические, реальные сценарии, иллюстрирующие, как организации управляют своими трубопроводами данных. Этот курс предназначен для абсолютно начинающих, заинтересованных сторон бизнеса и начинающих специалистов по данным, которые хотят получить прочную концептуальную основу, не нуждаясь в предыдущем опыте программирования. Начните читать сегодня, чтобы построить свои фундаментальные знания о конвейере данных и инфраструктуре.