Construction de modèles de légendage d'images avec l'apprentissage profond

Combler le fossé entre voir et décrire est l'un des défis les plus passionnants de l'intelligence artificielle. Ce cours vous guide à travers les bases du légendage d'images, vous montrant comment les ordinateurs peuvent apprendre à comprendre le contenu visuel et à le traduire en langage naturel et cohérent. Vous passerez de la compréhension des réseaux neuronaux de base à la construction de systèmes complets encodeur-décodeur. En travaillant à travers des explications claires et des présentations de code structurées, vous acquerrez les compétences nécessaires pour construire, entraîner et évaluer vos propres pipelines de légendage d'images personnalisés. Ce que vous apprendrez : - Comprendre les concepts fondamentaux de l'intégration de la vision par ordinateur et du traitement du langage naturel. - Explorer les architectures encodeur-décodeur utilisant des réseaux convolutionnels et des modèles modernes basés sur des transformeurs. - Implémenter des mécanismes d'attention pour aider votre modèle à se concentrer sur des régions d'image spécifiques pendant la génération de texte. - Appliquer des techniques modernes de prétraitement de données pour les caractéristiques d'image et les jetons de texte. - Entraîner et évaluer des modèles de légendage à l'aide de métriques standard telles que BLEU et CIDEr. - Configurer des stratégies de décodage telles que la recherche gloutonne et la recherche par faisceau pour générer des phrases naturelles. Le cours commence par les définitions de base et les concepts structurels avant de passer étape par étape à la préparation des données, à la construction du modèle et aux boucles d'entraînement. Vous apprendrez à déboguer et à affiner vos modèles grâce à des explications écrites claires et à des extraits de code pratiques. Conçu pour les développeurs, les passionnés de science des données et les apprenants novices en apprentissage profond qui souhaitent explorer l'intersection de la vision et du langage, ce cours ne nécessite aucun prérequis avancé. Commencez à lire dès aujourd'hui pour libérer la puissance de l'intelligence artificielle multimodale.