Kỹ thuật dữ liệu với Apache Airflow: Khái niệm cơ bản và thực hành

Khi môi trường dữ liệu ngày càng phức tạp, việc quản lý các tập lệnh thủ công trở nên bất khả thi. Apache Airflow cung cấp một khung mạnh mẽ để lập trình và giám sát các quy trình công việc, đảm bảo dữ liệu của bạn được gửi đến đúng thời gian và đúng định dạng. Khóa học này sẽ đưa bạn từ việc hiểu các khái niệm điều phối cơ bản đến quản lý các đường dẫn dữ liệu cấp độ sản xuất. Bạn sẽ học cách viết mã sạch, có khả năng mở rộng cho các quy trình công việc của mình và triển khai chúng trên nhiều môi trường khác nhau trong khi tuân theo các thực tiễn tốt nhất theo tiêu chuẩn ngành về kỹ thuật dữ liệu. Những gì bạn sẽ học: - Hiểu các thành phần cốt lõi của Airflow bao gồm bộ lập lịch, máy chủ web và cơ sở dữ liệu siêu dữ liệu - Tạo và quản lý Đồ thị không chu trình có hướng (DAG) bằng cách sử dụng API TaskFlow và ánh xạ tác vụ động - Cấu hình các trình thực thi khác nhau như Celery và Kubernetes để mở rộng quy mô khối lượng công việc của bạn - Triển khai logic đường dẫn dữ liệu nâng cao với các cảm biến, hook và các phụ thuộc chéo DAG - Bảo mật môi trường của bạn bằng cách sử dụng Kiểm soát truy cập dựa trên vai trò (RBAC) và mã hóa dữ liệu - Giám sát tình trạng và hiệu suất hệ thống bằng cách sử dụng các mẫu ghi nhật ký và khả năng quan sát tích hợp Nội dung bắt đầu với các thuật ngữ và kiến ​​trúc nền tảng trước khi chuyển sang xây dựng DAG thực tế. Bạn sẽ tìm hiểu cách tích hợp Airflow với các dịch vụ bên ngoài và quản lý cơ sở hạ tầng bằng cách sử dụng môi trường container hóa như Docker và các cụm Kubernetes dựa trên đám mây. Khóa học này được thiết kế dành cho những người mới bắt đầu trong lĩnh vực kỹ thuật dữ liệu hoặc DevOps muốn học điều phối quy trình làm việc từ đầu. Không yêu cầu kinh nghiệm trước đó với Airflow. Hãy bắt đầu xây dựng các đường dẫn dữ liệu đáng tin cậy ngay hôm nay.