Pagbuo ng mga Data Pipeline gamit ang Shell, Airflow, at Kafka

Sa mundong nakabase sa data ngayon, ang kakayahang maglipat at mag-transform ng data nang mahusay ay isang pangunahing kasanayan para sa sinumang developer o propesyonal sa data. Ginagabayan ka ng kursong ito na nakabatay sa teksto sa mga pangunahing konsepto ng ETL at ELT, na nagpapakita sa iyo kung paano bumuo ng mga maaasahang data pipeline mula sa simula. Lulusong ka mula sa pag-unawa sa mga pangunahing teorya ng integrasyon ng data hanggang sa pagbuo ng mga gumaganang pipeline. Matututunan mo kung paano i-automate ang mga gawain gamit ang Shell scripting, mag-orchestrate ng mga kumplikadong workflow gamit ang Airflow (kabilang ang mga modernong pattern ng TaskFlow API), at humawak ng real-time na mga stream ng data gamit ang Kafka. Ang iyong matututunan: - Unawain ang mga pangunahing pagkakaiba sa pagitan ng mga arkitektura ng ETL at ELT at kung kailan ilalapat ang bawat isa. - Sumulat ng mga Shell script upang i-automate ang mga pangunahing gawain sa pagkuha, pag-transform, at pag-load ng data. - Mag-orchestrate ng mga multi-step na workflow ng data gamit ang mga Airflow DAG at modernong kumbensyon ng TaskFlow API. - I-configure ang Kafka upang i-ingest, iproseso, at i-stream ang real-time na data ng kaganapan. - Ilapat ang mga modernong kasanayan sa pipeline, kabilang ang naka-container na pagpapatupad at pangunahing pag-validate ng data. Nagsisimula ang kurso sa mga mahahalagang terminolohiya at konsepto ng arkitektura bago lumipat sa sunud-sunod na nakasulat na gabay at mga ehersisyo sa pagsasaayos. I-explore mo ang mga praktikal na senaryo para sa batch processing at real-time streaming upang bumuo ng isang komprehensibong hanay ng mga kasanayan. Ang kursong ito ay idinisenyo para sa mga nagsisimula sa data engineering, na nangangailangan lamang ng pangunahing pamilyar sa programming at walang naunang karanasan sa pipeline. Magsimulang magbasa ngayon upang makabisado ang mga tool na nagpapagana sa modernong imprastruktura ng data.