Meta AI Research presentó MobileLLM, una vanguardista familia de modelos de lenguaje sub-mil millones (sub-1B) con arquitecturas de 125M y 350M de parámetros optimizadas exhaustivamente para su ejecución directa en chips de smartphones y dispositivos de borde. A diferencia de las aproximaciones convencionales que intentan comprimir modelos gigantescos de 7B o 3B mediante poda o cuantización agresiva, MobileLLM replantea desde cero el diseño del transformer: adopta estructuras profundas y estrechas (deep and thin), aplica compartición de pesos entre capas bajo principios de equilibrio profundo (Deep Equilibrium) y amortiza las transferencias hacia la DRAM. En benchmarks estándar como ARC, MMLU y seguimiento de instrucciones, MobileLLM-350M supera con creces a modelos tradicionales de 1B como TinyLlama, alcanzando velocidades sostenidas superiores a 30 tokens por segundo sin conexión a la nube y con estricta soberanía de privacidad.
Capítulo 01
La noticia en una frase
Meta AI presenta MobileLLM, modelos de lenguaje sub-1B (125M y 350M) con arquitectura profunda, compartición de capas y optimización para DRAM móvil que superan a modelos de 1B en smartphones.
En pruebas empíricas sobre procesadores móviles comerciales, MobileLLM alcanza un tiempo hasta el primer token inferior a 25 milisegundos y una tasa de generación de hasta 48 tokens por segundo en NPU y CPU sin degradar la batería.
Capítulo 02
