ビッグデータ分析用のScalaとSpark

データセットが単一のマシンにとって大きくなるにつれて、現代の開発者とデータエンジニアは伝統的なローカル処理から分散コンピューティングへの移行を迫られている。このテキストベースのコースでは、ビッグデータ処理の核となる概念を説明し、Scalaのエレガントで機能的なパラダイムを用いて、Apache Sparkの速度を活用する方法を示します。 基本的なローカルコードの書き方からクラスタ間で拡張可能なロバストな分散データパイプラインの設計へと移行する。明確な概念的説明を読み通し、実際的なコード例を分析することにより、分散システムにおける強固な基礎を構築する。 学ぶことは 分散コンピューティングの基本原理，クラスタ実行，Ｓｐａｒｋのメモリモデルを理解する。 また，分散データベースの安全かつ効率的な操作を行うために，Ｓｃａｌａの関数型プログラミング概念を適用する。 また，データフレームとデータセットを含むマスタースパークの構造化ＡＰＩを用いて，データ変換を最適化する。 ＳＰＡＲＫ　ＳＱＬは，大規模な構造化データや半構造化データを分析するための表現力のあるクエリを書く。 また，データパイプラインを構成し，ＰａｒｋｅｔやＤｅｌｔａ　Ｌａｋｅなどの最新のストレージフォーマットに読み書きする。 分散データタスクにおける一般的な性能ボトルネックの同定と解決の実践。 まず，ビッグデータの基本的な用語，Ｓｃａｌａの基本的な構文，コア分散概念を説明し，次に，データの操作，構造化ＡＰＩ設計，実用的な最適化ワークフローを説明する。 クラスタ経験を必要としない分散処理を基礎から学びたい開発者，データアナリスト，そして志望するデータエンジニアを含むビッグデータの初心者向けに設計された。 まずは、Scala と Spark を使った分散データ分析の力を解き放つために今日から読み始めましょう。