Microsoft Research anunció el lanzamiento de la familia de modelos pequeños de lenguaje Phi-3.5, que incluye tres variantes especializadas de pesos abiertos diseñadas para maximizar el razonamiento avanzado, la multimodalidad y la eficiencia computacional en dispositivos locales y centros de datos: Phi-3.5-mini (3,8B parámetros), Phi-3.5-MoE (mezcla de 16 expertos de 3,8B con 6,6B parámetros activos por token) y Phi-3.5-vision (4,2B parámetros con soporte para múltiples imágenes). Con una ventana contextual ampliada a 128.000 tokens en las tres arquitecturas, la familia Phi-3.5 supera a modelos mucho más grandes en matemáticas, lógica formal, análisis de código y comprensión de documentos visuales complejos, desafiando la noción tradicional de que se requieren decenas de miles de millones de parámetros para obtener rendimiento de frontera.
Capítulo 01
La noticia en una frase
Microsoft lanza Phi-3.5, incorporando modelos de 3.8B, mezcla de expertos de 16x3.8B y visión multimodal con ventana de 128k tokens en pesos abiertos.
En el benchmark MMLU y en pruebas matemáticas de razonamiento paso a paso como GSM8K y MATH, Phi-3.5-MoE supera a Gemma 2 9B y Llama 3.1 8B, mientras que Phi-3.5-vision lidera en pruebas de OCR y razonamiento sobre diagramas frente a modelos multimodales comerciales de mayor tamaño.
Capítulo 02
