DataflowとDataprocによるバッチデータパイプラインエンジニアリング

大規模なデータセットを効率的に処理することは、現代のビジネスインテリジェンスとレポート作成の根幹です。このコースでは、単純なデータスクリプトから、大規模な変換を容易に処理する堅牢で自動化されたバッチパイプラインの設計へと移行する方法を学びます。業界標準のクラウドテクノロジーを使用して、データ移動と変換を大規模に管理するために必要なスキルを習得します。 学習内容： - ETL/ELTパターンやバッチ処理アーキテクチャを含む、データエンジニアリングの基礎概念を理解する - Dataflow上のApache Beamを使用してサーバーレスデータ処理ジョブを構築し、統合されたデータ処理を実現する - 基盤となるインフラストラクチャを管理することなくSparkアプリケーションを実行するためにDataproc Serverlessを構成する - パイプラインの信頼性と正確性を確保するために、データ品質チェックと可観測性パターンを適用する - 複雑なワークフローをオーケストレーションし、さまざまなデータ処理ステージ間の依存関係を管理する - パイプラインの障害をプロアクティブに特定し解決するために、最新の監視とアラートを実装する このコースは、SQLとPythonベースのロジックを使用した実践的な実装戦略に進む前に、コア定義とアーキテクチャ原則から始まります。パイプライン設計の詳細な説明を読み、保守性とパフォーマンスのためにコードを構造化する方法を探求します。このプログラムは、SQLとPythonの基本的な理解があり、それらのスキルをクラウドスケールのデータ処理に適用する準備ができているデータエンジニアリングの初心者向けに設計されています。今日から本番環境に対応したデータパイプラインの構築を始めましょう。