AWS 데이터 엔지니어링: 분석 파이프라인 구축

대규모 데이터 흐름을 관리하려면 안전하고 확장 가능하며 효율적인 인프라가 필요합니다. 이 텍스트 기반 교육 과정에서는 AWS 분석 에코시스템을 사용하여 최신 데이터 파이프라인을 구축하는 과정을 안내합니다. 기본적인 클라우드 스토리지 이해에서 데이터를 취득, 처리, 저장 및 쿼리하는 엔드 투 엔드 데이터 파이프라인 설계로 전환합니다. 명확한 아키텍처 설명을 학습하고 구조화된 코드 예제를 분석하여 클라우드에서 복잡한 데이터 워크플로우를 조율하는 데 필요한 실용적인 지식을 습득합니다. 무엇을 배울 것인가: - AWS S3 및 IAM을 사용하여 핵심 클라우드 데이터 개념, 보안 구성 및 ID 관리를 이해합니다. - AWS Lambda, Kinesis 및 Glue를 사용하여 확장 가능한 배치 및 실시간 섭취 파이프라인을 구축합니다. - AWS EMR에서 PySpark를 사용하여 대규모 데이터 세트를 처리하고 AWS Glue를 사용하여 메타데이터 카탈로그를 관리합니다. - Athena를 사용하여 S3에서 직접 데이터를 쿼리하고 Redshift에서 고성능 데이터 웨어하우징 작업을 수행합니다. - AWS에서 Apache Iceberg와 같은 트랜잭션 테이블 형식을 포함한 최신 데이터 레이크하우스 설계 패턴을 적용합니다. - 기본적인 Infrastructure-as-Code 개념을 사용하여 자동화된 데이터 파이프라인 배포를 구성합니다. 커리큘럼은 기본적인 클라우드 스토리지 및 보안 정의부터 시작하여 데이터 섭취, Spark를 통한 분산 처리, 서버리스 쿼리, 데이터 웨어하우징으로 진행됩니다. 엔지니어링에 대한 자신감을 키우기 위해 설계된 단계별 가이드와 SQL/Python 코드 스니펫을 학습합니다. 이 교육 과정은 AWS 분석 서비스를 처음 사용하는 데이터 엔지니어, 데이터베이스 관리자, 소프트웨어 개발자를 대상으로 설계되었으며, 클라우드 엔지니어링 경험은 필요하지 않습니다. 오늘 읽기를 시작하여 클라우드 데이터 엔지니어링의 기초를 구축하십시오.