데이터 엔지니어링을 위한 Scala의 Spark 프로그래밍

대규모 데이터 세트를 처리하려면 표준 프로그래밍 이상의 기술이 필요합니다. 분산된 사고 방식과 적합한 도구 세트가 필요합니다. 이 교육 과정에서는 업계에서 가장 강력한 엔진 중 하나를 사용하여 대규모 데이터를 관리하고 변환하는 방법을 이해할 수 있는 명확한 경로를 제공합니다. 기본적인 코딩에서 복잡한 처리 작업을 처리할 수 있는 고성능 데이터 애플리케이션을 구축하는 과정을 거칩니다. 이 과정을 마치면 Scala를 사용하여 효율적인 데이터 파이프라인을 설계하고 구현하는 방법을 완벽하게 이해하게 됩니다. 무엇을 배울 것인가: - Spark 아키텍처와 분산 컴퓨팅의 핵심 원리를 이해합니다. - 데이터 엔지니어링을 위해 특별히 맞춤화된 Scala 프로그래밍 기본 사항을 적용합니다. - 구조화된 데이터 분석을 위한 Spark DataFrame API 및 Spark SQL을 마스터합니다. - Spark Connect 및 원격 연결 패턴을 사용하여 최신 데이터 파이프라인을 구축하는 방법을 연습합니다. - 복잡한 데이터 변환, 필터링 및 집계를 구현합니다. - 대규모 생산 환경을 위한 애플리케이션 성능을 구성하고 최적화합니다. 이 교육 과정은 필수 용어와 분산 시스템의 내부 구조를 먼저 다루고, 실제 구현 시나리오와 최신 개발 워크플로우를 통해 진행됩니다. 이 교육 과정은 데이터 중심 인프라에서 강력한 기반을 구축하고자 하는 초보자, 소프트웨어 엔지니어, 데이터 아키텍트를 위해 설계되었으며, Spark 경험이 필요하지 않습니다. 오늘부터 대규모 데이터 처리에 대한 전문성을 구축하십시오.