Investigadores de la Universidad de Princeton presentaron Sheared LLaMA, un enfoque algorítmico y una suite de modelos abiertos que reducen arquitecturas masivas de 7.000 millones de parámetros a variantes compactas de 1.300 y 2.700 millones mediante poda estructurada y destilación dinámica con solo el 3% del cómputo tradicional.
La noticia en una frase
Princeton presentó Sheared LLaMA, demostrando que podar capas y cabezas de atención de modelos de 7B con carga dinámica de datos supera a entrenar modelos pequeños desde cero ahorrando millones de dólares en cómputo.
