Cơ bản của ETL và ELT Data Pipelines

Bạn cần di chuyển dữ liệu từ nhiều nguồn khác nhau vào một kho dữ kiện trung tâm để phân tích? Hiểu được cách xây dựng các đường ống dữ liêu mạnh mẽ là một kỹ năng cơ bản cho bất kỳ chuyên gia dữ lý nào. Chương trình này cung cấp một giới thiệu thực tế về các nguyên tắc cốt lõi của ETL (rút ra, biến đổi, nạp) và ELT (rút, biến chuyển, nạP) Bạn sẽ học được chu kỳ sống hoàn chỉnh của việc tích hợp dữ liệu, từ việc trích xuất dữ kiện từ các hệ thống khác nhau để tải nó vào một kho dữ liêu, sẵn sàng để phân tích. Bạn sẽ học được: - Hiểu được sự khác biệt chính giữa ETL và ELT và khi nào sử dụng mỗi cách tiếp cận. - Học ba giai đoạn cốt lõi: trích xuất từ API và cơ sở dữ liệu, chuyển đổi dữ kiện cho chất lượng và tính nhất quán, và tải vào kho dữ liêu. - Thực hành thiết kế một sơ đồ đường ống dữ liệu cơ bản cho một kịch bản kinh doanh phổ biến. - Tìm hiểu các khái niệm đằng sau các công cụ hiện đại cho dàn nhạc (như Apache Airflow) và chuyển đổi (nếu dbt). - Apply cơ bản kiểm tra chất lượng dữ liệu để đảm bảo dữ kiện của bạn là đáng tin cậy và đáng tin. - Xây dựng một đường ống dữ liệu đơn giản, hoàn chỉnh từ nguồn đến đích thông qua bài tập viết. - Nắm vững các nguyên tắc cơ bản của việc làm việc với nền tảng dữ liệu đám mây và kho. Chương trình bắt đầu với thuật ngữ cơ bản và các khái niệm kiến trúc đằng sau việc tích hợp dữ liệu. Sau đó bạn sẽ tiến hành giải thích từng giai đoạn của đường ống, áp dụng những gì bạn học để xây dựng một luồng công việc chức năng. Chương trình này được thiết kế cho người mới bắt đầu. Nó rất thích hợp cho những kỹ sư dữ liệu, nhà phân tích dữ kiện muốn hiểu về dòng dữ liêu, và bất cứ ai mới vào lĩnh vực tích hợp dữ lý. Không cần phải có kinh nghiệm trước đó với các đường dẫn dữ lí. Bắt đầu hành trình của bạn vào kỹ thuật dữ liệu và học cách quản lý dòng dữ kiện hôm nay.