Scala를 사용한 아파치 스파크 3 및 빅 데이터 엔지니어링

현대의 데이터 요구 사항은 분산 클러스터 전반에 걸쳐 대규모 데이터 세트를 빠르고 안정적으로 처리할 수 있는 도구가 필요합니다. 이 교육 과정에서는 프로그래머가 Spark 에코시스템의 핵심 구성 요소를 숙지하여 빅 데이터 엔지니어링으로 전환할 수 있는 명확한 경로를 제공합니다. 기본 데이터 구조를 이해하는 단계에서 테라바이트의 정보를 처리할 수 있는 복잡한 분산 처리 파이프라인을 구축하는 단계로 이동합니다. 이 교육 과정을 마치면 분산 시스템이 작동하는 방식에 대한 견고한 정신적 모델과 데이터 집약적인 작업을 위해 프로덕션 준비가 된 Scala 코드를 작성하는 실용적인 기술을 갖추게 됩니다. 다양한 Spark API 간의 트레이드오프를 탐색하고 애플리케이션이 규모에 맞게 효율적으로 실행되도록 최적화를 구현할 수 있습니다. 무엇을 배울 것인가: - Spark의 아키텍처와 클러스터 전반에 걸쳐 분산 컴퓨팅을 관리하는 방법을 이해합니다. - Spark SQL 및 DataFrame API를 사용하여 구조화된 데이터를 효율적으로 처리합니다. - 강력하고 유지 보수 가능한 애플리케이션 개발을 위해 Datasets를 사용하여 유형 안전 데이터 변환을 적용합니다. - RDD(Resilient Distributed Datasets)를 사용하여 낮은 수준의 데이터 추상화 및 사용자 지정 로직을 관리합니다. - Adaptive Query Execution 및 효율적인 셔플링과 같은 최신 기술을 사용하여 애플리케이션 성능을 최적화합니다. - 대규모 데이터 집합에 대한 복잡한 데이터 필터링, 집계 및 합병 전략을 구현합니다. - 데이터 무결성 및 성능을 보장하기 위해 분산 응용 프로그램을 디버깅하고 모니터링하는 방법을 연습합니다. 이 교육 과정은 분산 컴퓨팅 및 Spark 내부 구조의 기본 정의부터 시작하여 구조화된 데이터 처리 및 낮은 수준의 최적화를 거칩니다. 각 모듈은 코드 구현을 읽고 분석하여 이러한 개념을 실제 시나리오에 적용할 수 있도록 합니다. 이 교육 과정은 Scala에 대한 기본적인 이해를 갖추고 빅 데이터의 세계로 진입하고자 하는 개발자를 위해 설계되었습니다. Spark 또는 분산 시스템에 대한 이전 경험은 필요하지 않습니다. 오늘 Spark 및 Scala로 고성능 데이터 솔루션을 구축하세요.