Engenharia de dados com o Apache Beam e o Dataflow: Crie pipelines em lote

O Apache Beam oferece um modelo poderoso e unificado para definir pipelines de dados que você pode executar sem esforço em serviços de nuvem gerenciados, como o Dataflow. Este curso escrito orienta você através dos conceitos fundamentais de processamento de dados, levando você do desenvolvimento de pipeline local para a implantação em escala de nuvem.Você aprenderá a escrever código de pipelines limpo e manejável usando o Apache Beam Python SDK, aplicar transformações e orquestrar seus fluxos de trabalho de dados em um ambiente de nuvens. O que você vai aprender: - Entenda os conceitos básicos de pipelines de dados, incluindo PCollections, Transforms, Pipeline Runners e conectores de E / S. - Configure um ambiente de desenvolvimento Python local usando ambientes virtuais modernos e dependências de SDK. - Aplique transformações para extrair, limpar e formatar dados usando as funções integradas do Apache Beam. - Implemente dicas de tipo Python para garantir a segurança do pipeline, a legibilidade do código e esquemas de dados robustos. - Implantar pipelines de processamento em lote para o Dataflow na nuvem para execução totalmente gerenciada e de dimensionamento automático. - Teste e depure seu código de pipeline localmente antes de movê-lo para ambientes de produção. Você começará dominando os termos fundamentais e a execução do pipeline local, movendo-se gradualmente para a lógica de transformação avançada.Finalmente, você explorará a integração com a nuvem, aprendendo a configurar permissões e implantar seu código para executar em uma infraestrutura de nuvem gerenciada. Este curso foi projetado para aspirantes a engenheiros de dados, desenvolvedores de software e analistas de dados que têm uma compreensão básica do Python e querem aprender o processamento de dados nativos da nuvem.Não é necessária experiência prévia com o Apache Beam ou pipelines de dados em nuvem. Comece a ler hoje para construir seu primeiro pipeline de dados escalável do zero.