Unsloth AI presentó una suite de optimización de código abierto que acelera el ajuste fino de modelos de lenguaje hasta en 2x y reduce el uso de memoria VRAM en un 70% mediante la reescritura manual de derivadas y kernels de retropropagación en OpenAI Triton.
La noticia en una frase
Unsloth AI liberó optimizaciones matemáticas de bajo nivel que permiten ajustar modelos como LLaMA, Mistral y Gemma al doble de velocidad con una fracción de la memoria habitual.
El alcance que cambia la lectura
El ajuste fino de modelos con miles de millones de parámetros suele exigir costosas estaciones de trabajo con múltiples GPUs de centro de datos debido a la sobrecarga de asignación de tensores intermedios en el motor de diferenciación automática estándar de PyTorch.
