Mekanisme Perhatian dalam Pembelajaran Dalam

Sistem AI modern, khususnya yang berhubungan dengan data berurutan seperti bahasa dan deret waktu, sangat bergantung pada kemampuan untuk fokus pada informasi yang relevan. Mengerti mekanisme perhatian adalah kunci untuk membuka model-model yang kuat ini dan aplikasi-aplikasinya. Kursus ini menyediakan dasar konseptual yang jelas untuk mekanisme perhatian, memandu Anda melalui evolusinya dari model dasar urutan-ke-urutan ke arsitektur Transformer revolusioner. Anda akan mendapatkan pengetahuan yang diperlukan untuk membaca dan memahami komponen inti dari model pembelajaran mendalam modern. Apa yang akan kau pelajari: * Mengerti keterbatasan model urutan tradisional tanpa perhatian dan kebutuhan untuk menangani konteks. * Menguasai komponen inti dari mekanisme perhatian vanilla, termasuk menghitung skor penyesuaian dan vektor konteks. * Terapkan konsep perhatian multi-kepala dan enkoding posisi, yang merupakan dasar dari model Transformer. * Menganalisis bagaimana mekanisme perhatian digunakan di berbagai domain, termasuk Natural Language Processing dan visi komputer. * Praktik menafsirkan keluaran dari lapisan perhatian untuk mendapatkan wawasan ke dalam keputusan model dan meningkatkan explainability. Kita mulai dengan terminologi kunci dan intuisi matematika di balik model urutan. Kemudian, kami secara sistematis memecahkan berbagai jenis perhatian, berpuncak pada walkthrough konseptual rinci dari arsitektur Transformer penuh. Kursus ini dirancang untuk pemula dalam pembelajaran mendalam dan pembelajaran mesin yang akrab dengan konsep dasar jaringan saraf tetapi ingin memahami mekanika di balik model bahasa besar modern. Tidak ada persyaratan matematika atau pemrograman yang diperlukan. Mulai membangun pengetahuan dasar Anda tentang AI state-of-the-art hari ini.