El Allen Institute for AI (Ai2) anunció el lanzamiento de OLMoE (Open Language Model with Mixture-of-Experts), el primer modelo MoE completamente abierto y transparente de su escala, con 7.000 millones de parámetros totales pero activando únicamente 1.000 millones de parámetros por cada token procesado. Mientras que los modelos MoE industriales habituales mantienen sus datos y dinámicas de enrutamiento bajo estricta reserva corporativa, OLMoE libera de forma pública e irrestricta todos sus componentes: el código de entrenamiento, los 5 billones de tokens de datos curados en el corpus Dolma, más de 5.000 puntos de control intermedios (checkpoints) y el software de inferencia. En evaluaciones estandarizadas de razonamiento, código y comprensión lingüística, OLMoE supera con holgura a modelos densos de mayor tamaño como Llama 2 13B y Gemma 2B, consumiendo menos de un tercio del cómputo por consulta en producción.
Capítulo 01
La noticia en una frase
Ai2 publica OLMoE, un modelo Mixture-of-Experts 100% abierto de 7B que activa solo 1B de parámetros por token con más de 5.000 checkpoints públicos.
Al enrutar tokens hacia 8 de sus 64 expertos disponibles, OLMoE supera a modelos densos de 7B en MMLU, GSM8K y HumanEval con costes de inferencia equivalentes a un modelo de 1B.
Capítulo 02
