Apache Beam을 활용한 Dataflow 파이프라인 개발

Beam SDK를 사용하여 스트리밍 및 배치 워크로드를 위한 확장 가능한 데이터 처리 파이프라인을 구축하고 관리합니다.

4.0 (44) ⏱ 1시간 32분 📚 3개 레슨

이 과정 소개

현대 데이터 엔지니어링은 복잡한 인프라를 관리할 필요 없이 대규모 데이터셋을 실시간으로 처리할 수 있는 능력을 요구합니다. 이 과정은 과거 배치 데이터와 실시간 스트리밍 이벤트를 모두 처리하는 견고한 서버리스 데이터 파이프라인을 구축하는 과정을 안내합니다. 통합 데이터 처리의 기본 용어와 아키텍처를 마스터하는 것부터 시작합니다. 학습 내용: - Apache Beam의 핵심 개념과 Dataflow에서 실행되는 방식을 이해합니다. - 늦게 도착하는 데이터를 처리하기 위해 윈도잉 전략, 워터마크 및 트리거를 구현합니다. - 스키마를 사용하여 구조화된 데이터를 정의하여 파이프라인 로직을 단순화하고 효율성을 향상시킵니다. - 고급 이벤트 처리를 위해 State and Timer APIs를 사용하여 상태 저장 변환을 적용합니다. - 다양한 저장소 및 메시징 시스템과 통합하기 위해 다양한 소스 및 싱크를 구성합니다. - 안정적인 프로덕션 워크플로우를 위한 최신 파이프라인 관찰 가능성 및 디버깅 기술을 연습합니다. 이 과정은 필수 정의와 Beam 모델로 시작하여 복잡한 스트리밍 패턴과 파이프라인 최적화를 위한 모범 사례로 진행됩니다. 이 프로그램은 데이터 엔지니어링 분야에 입문하려는 초보자를 위한 것이며, 파이프라인 개발 경험이 없어도 됩니다. 오늘 바로 확장 가능한 데이터 솔루션 구축을 시작하세요.

받게 되는 것

  • 📜 수료증
    LinkedIn 프로필에 추가
  • ♾️ 평생 이용
    언제든 다시 보세요, 만료 없음
  • 📱 휴대폰 또는 컴퓨터
    어디서든 모든 기기에서
  • 💸 30일 환불
    이유 묻지 않음
  • 짧고 핵심적
    1시간 32분의 실용 학습

리뷰 (2)

Mateo Rojas CL
★ 4 · 2025-08-14T13:31:01+00:00

이 과정을 정말 즐겼어요. 정보를 전달하는 방식이 훌륭했고, 실제 적용 사례들이 효과적으로 강조되었어요. 정말 잘했어요!

كمال حسن JO 인증된 학습자
★ 4 · 2025-06-23T09:19:01+00:00

탄탄한 강의입니다. 구성이 논리적이고 대부분의 예제가 도움이 되었습니다. 다만 실제 사례가 좀 더 있었으면 좋았을 것 같아요.

리뷰 쓰기

보낸 뒤 로그인을 안내합니다 — 임시저장됩니다.

다른 학습자도 수강

자주 묻는 질문

이 과정을 듣는 데 무엇이 필요한가요? +

인터넷이 되는 휴대폰이나 컴퓨터만 있으면 됩니다. 설치나 특별한 장비는 필요 없습니다.

결제는 어떻게 하나요? +

Stripe를 통한 카드 또는 암호화폐로. 카드 정보는 저장하지 않으며 Stripe가 안전하게 처리합니다.

환불받을 수 있나요? +

네 — 30일 이내 전액 환불, 이유를 묻지 않습니다.

얼마나 오래 이용할 수 있나요? +

평생. 구매하면 과정은 당신의 것이며 언제든 다시 볼 수 있습니다.

수료증을 받을 수 있나요? +

네. 수료 시 LinkedIn 프로필에 추가할 수 있는 수료증을 받습니다.

이런 분야 학습자에게
테크 디자인 금융 마케팅 의료 교육 호스피탈리티 제조업