Optimización de Generative AI en procesadores Arm para Edge y la nube

Ejecutar modelos de Generative AI de manera eficiente requiere comprender el hardware subyacente. A medida que los procesadores Arm impulsan todo, desde dispositivos móviles hasta masivos servidores en la nube, aprender a optimizar modelos para esta arquitectura es una habilidad crucial para los desarrolladores de AI modernos. Este curso basado en texto lo guía a través del proceso de adaptación y aceleración de cargas de trabajo de Generative AI en sistemas basados en Arm. Pasará de comprender conceptos básicos de hardware a implementar técnicas de optimización avanzadas que reducen drásticamente la latencia y el uso de memoria. Lo que aprenderá: - Comprender la arquitectura fundamental de los procesadores Arm, incluyendo el diseño de la CPU y las jerarquías de memoria - Aplicar técnicas de vectorización SIMD utilizando instrucciones Neon y Scalable Vector Extension (SVE) para acelerar operaciones matemáticas - Implementar estrategias de cuantización de pocos bits, como INT4 y FP8, para comprimir modelos de lenguaje grandes sin sacrificar la precisión - Configurar y utilizar la librería optimizada KleidiAI para agilizar operaciones clave de Generative AI - Desplegar modelos optimizados tanto en dispositivos edge limitados como en entornos de nube escalables - Analizar cuellos de botella de rendimiento utilizando conceptos modernos de perfilado y herramientas de tiempo de ejecución Comenzará con la terminología clave del hardware y los conceptos fundamentales del cómputo en CPU antes de explorar estrategias prácticas de optimización. A través de explicaciones escritas paso a paso y ejemplos de código claros, aprenderá a configurar, optimizar y evaluar modelos generativos para su despliegue en el mundo real. Este curso está diseñado para desarrolladores de software, entusiastas de la AI e ingenieros de sistemas que son nuevos en la optimización a nivel de hardware. No se requiere experiencia previa con programación de hardware o lenguaje ensamblador. Comience su viaje en la optimización de AI consciente del hardware hoy mismo.