Microsoft Research presentó formalmente GRIN-MoE (Gradient-Informed Mixture of Experts), una arquitectura pionera de redes neuronales dispersas de 6.600 millones de parámetros totales que activa únicamente 1.400 millones de parámetros por token mediante una técnica revolucionaria de enrutamiento basada en la estimación de gradiente en tiempo real. A diferencia de las compuertas MoE tradicionales basadas en routers lineales o funciones softmax que sufren colapso de expertos o asignaciones subóptimas, GRIN-MoE evalúa analíticamente la ganancia potencial de cada experto individual mediante el gradiente de la función de pérdida respecto a la representación intermedia, asegurando que cada token sea procesado exactamente por los pesos más informativos y alcanzando un rendimiento competitivo frente a modelos densos de 14B con una fracción del costo de inferencia.
Capítulo 01
La noticia en una frase
Microsoft presenta GRIN-MoE, arquitectura de mezcla de expertos de 6.6B que optimiza la selección de rutas mediante estimación de gradiente en tiempo real.
La técnica de enrutamiento informado evalúa el impacto analítico del gradiente para activar exclusivamente los subcircuitos más eficientes durante la inferencia.
Capítulo 02
