Apache Airflowを用いたデータエンジニアリング：基礎と実践

データ環境が複雑化するにつれて、手動でスクリプトを管理することは不可能になりつつあります。Apache Airflow は、ワークフローをプログラム的に作成し、監視するための強力なフレームワークを提供し、データが正確な時間と正しいフォーマットで到着することを保証します。 このコースでは、基本的なオーケストラーションの概念からプロダクションレベルのパイプラインの管理までを学びます。また、ワークフローのためのクリーンでスケーラブルなコードを書き、データエンジニアリングの業界標準ベストプラクティスに従いながら、様々な環境にそれらを展開する方法を学びます。 学ぶことは Ａｉｒｆｌｏｗの基本的な構成要素を理解する。 TaskFlow API と動的タスクマッピングを用いて有向非巡回グラフ (DAG) を作成し管理します - ワークロードを拡大するために、Celery や Kubernetes などの異なる実行者を設定します センサ，フック，クロスＤＡＧ依存性を持つ高度なパイプライン論理を実装 - 役割ベースアクセス制御 (RBAC) とデータ暗号化を使用して環境を保護します 統合ログと観測パターンを用いてシステムの健康と性能を監視する また，ＤｏｃｋｅｒやＫｕｂｅｒｎｅｔｅｓクラスタなどのコンテナ化環境を用いて，Ａｉｒｆｌｏｗを外部サービスと統合し，インフラを管理する方法を探る。 このコースは、データエンジニアリングまたはDevOpsの初心者がワークフローオーケストラを基礎から学びたいと思うために設計されています。Airflowの経験は不要です。 今日から信頼性の高いデータパイプラインを構築し始めましょう。