Engenharia de pipeline de dados em lote com Dataflow e Dataproc

O processamento eficiente de conjuntos de dados massivos é a espinha dorsal da inteligência de negócios e relatórios modernos.Este curso ensina como fazer a transição de scripts de dados simples para projetar pipelines de lote robustos e automatizados que lidam com transformações em larga escala com facilidade. Você obterá as habilidades necessárias para gerenciar o movimento e a transformação de dados em escala usando tecnologias de nuvem padrão do setor. O que você vai aprender: - Entenda os conceitos fundamentais de engenharia de dados, incluindo padrões ETL / ELT e arquiteturas de processamento em lote - Crie trabalhos de processamento de dados sem servidor usando o Apache Beam no Dataflow para o manuseio unificado de dados - Configure o Dataproc Serverless para executar aplicativos Spark sem a necessidade de gerenciar a infraestrutura subjacente - Aplique verificações de qualidade de dados e padrões de observabilidade para garantir a confiabilidade e a precisão do pipeline - Orquestrar fluxos de trabalho complexos e gerenciar dependências entre vários estágios de processamento de dados - Implementar monitoramento e alertas modernos para identificar e resolver falhas de pipeline de forma proativa O curso começa com definições básicas e princípios arquitetônicos antes de passar para estratégias práticas de implementação usando SQL e lógica baseada em Python. Você lerá explicações detalhadas do design do pipeline e explorará como estruturar o código para manutenção e desempenho. Este programa é projetado para iniciantes em engenharia de dados que têm uma compreensão básica de SQL e Python e estão prontos para aplicar essas habilidades ao processamento de dados em escala de nuvem.