Databricks anunció el lanzamiento oficial de DBRX, un modelo fundacional de lenguaje de código abierto de 132.000 millones de parámetros totales basado en una arquitectura de mezcla de expertos de grano fino (fine-grained MoE) con 16 expertos en total y 4 activos por token (36B parámetros activos). Desarrollado por el equipo de Mosaic AI sobre la plataforma de supercómputo de Databricks, DBRX supera a Llama 2 70B, Mixtral 8x7B y Grok-1 en benchmarks de razonamiento, matemáticas y programación (HumanEval), alcanzando una velocidad de procesamiento y rendimiento de inferencia hasta dos veces superior a arquitecturas MoE comparables gracias a su distribución granular de activación y ventana nativa de 32k tokens.
Capítulo 01
La noticia en una frase
Databricks presenta DBRX, modelo MoE abierto de 132B con 36B activos que supera a Llama 2 70B y duplica la velocidad de inferencia frente a Mixtral.
En HumanEval, DBRX alcanza un 70,1% de precisión en generación de código superando el 67,6% de Llama 2 70B, y en GSM8k obtiene un 72,8% en razonamiento matemático mientras consume la mitad de cómputo activo por token.
Capítulo 02
El alcance que cambia la lectura
Para las empresas que buscan soberanía en sus modelos de lenguaje sin asumir los costos prohibitivos de inferencia de modelos densos de 70B+, la arquitectura de grano fino de DBRX democratiza el alto rendimiento analítico en infraestructuras privadas.
