データ工学のためのScalaのSparkプログラミング

巨大なデータセットを処理するには，標準的なプログラミング以上のものが必要であり，分散的な考え方と適切なツールが必要である。このコースでは，業界で最も強力なエンジンの一つを用いて，大規模なデータを管理し変換する方法を理解するための明確な道を提供する。 基本的なコードから、複雑な処理タスクを扱うことができる高性能データアプリケーションの構築へと移行する。このコースの終わりまでに、スカラを用いて効率的なデータパイプラインを設計し、実装する方法を確実に把握する。 学ぶことは 分散コンピューティングの基本的な考え方を理解し，分散コンピューティングの実現に必要な技術を理解する。 また，データエンジニアリングに特化したＳｃａｌａプログラミングの基礎を適用する。 構造化データ解析のためのSpark DataFrame APIとSpark SQLを習得する。 また，Ｓｐａｒｋ　Ｃｏｎｎｅｃｔを用いたデータパイプラインの構築とリモート接続パターンを実践した。 複雑なデータ変換，フィルタリング，集合化を実装する。 また，大規模プロダクション環境におけるアプリケーション性能の設定と最適化を行う。 これは，データ中心のインフラにおいて，Ｓｐａｒｋ経験が必要でない初心者，ソフトウェアエンジニア，データアーキテクトに向けて設計された。 今日から大規模データ処理の専門知識を構築し始めましょう。