Введение в облачную инженерию данных

Готовы ли вы выйти за рамки обработки данных на одной машине? Этот курс предоставляет фундаментальные знания для проектирования, создания и управления надежными системами данных в облаке, обрабатывая данные в масштабе. Вы перейдете от понимания основных концепций данных к применению принципов проектирования для создания автоматизированных, надежных рабочих процессов данных. Вы узнаете, как выбрать правильные облачные службы и собрать их в эффективные конвейеры данных, которые обеспечивают аналитику и приложения. Что вы узнаете: - Понимание основных принципов облачной инженерии данных, от озер данных до современных хранилищ данных. - Разработка и внедрение автоматизированных ETL / ELT трубопроводов для приема, преобразования и обслуживания данных. - Определите и управляйте своей инфраструктурой облачных данных, используя инфраструктуру как код (IaC) для обеспечения последовательности и повторяемости. - Примените передовые методы разработки программного обеспечения, такие как управление версиями, тестирование и CI / CD, к вашим конвейерам данных. - Работа с основными облачными хранилищами и службами обработки как структурированных, так и неструктурированных данных. - Практика структурирования полной, сквозной системы обработки данных на крупной облачной платформе. Курс начинается с изучения ключевой терминологии, связанной с облаком и обработкой данных, затем охватывает создание конвейеров данных и завершается практическими рекомендациями. Каждый раздел основывается на предыдущем, обеспечивая четкий путь к пониманию полного жизненного цикла данных в облаке. Этот курс предназначен для новичков в области облачной обработки данных. Ознакомление с такими языками программирования, как Python, и концепциями обработки и хранения данных поможет вам освоиться, но предварительный опыт работы с облачными технологиями не требуется. Начните развивать навыки, необходимые для создания решений для обработки данных в современном мире.