Mixture-of-Kittens: Cursor abre un megakernel para entrenar modelos de expertos en sistemas NVL72
Cursor presentó Mixture-of-Kittens (MoK), una librería y megakernel de código abierto bajo licencia Apache 2.0 diseñado para optimizar el entrenamiento de modelos basados en mezcla de expertos (MoE) en sistemas de infraestructura avanzada NVIDIA GB200 y GB300 NVL72. La solución aborda de forma directa el cuello de botella de comunicación entre GPUs superponiendo el cálculo de capas especializadas con la transferencia masiva de datos a través de NVLink.
El desafío de la comunicación en arquitecturas MoE
En los modelos de lenguaje que emplean arquitecturas de mezcla de expertos, la computación se divide entre múltiples redes neuronales especializadas (expertos). Durante el pase de inferencia y entrenamiento, un enrutador dinámico dirige cada token hacia los procesadores específicos que albergan los expertos asignados.
Al escalar este esquema a través de decenas de GPUs interconectadas, el volumen de intercambio de datos satura con frecuencia los buses de interconexión. Cuando el cálculo y la transmisión ocurren de forma secuencial y desacoplada, los aceleradores permanecen inactivos esperando la llegada de tensores, lo que disminuye drásticamente la tasa efectiva de procesamiento y eleva el coste por token entrenado.
Fusión de cálculo y transferencia en un único megakernel
La innovación técnica de Mixture-of-Kittens radica en fusionar en un único kernel de bajo nivel la distribución de tokens, la ejecución de expertos compartidos y enrutados, y la posterior recombinación de resultados. El diseño prescinde de sincronizaciones intermedias entre la CPU y la GPU durante el pase de la capa MoE.
Para maximizar el ancho de banda del tejido NVLink, MoK implementa buffers circulares deterministas y una planificación de transferencias reutilizable entre fases. Dependiendo de la operación concreta, el sistema alterna dinámicamente entre transferencias iniciadas por el nodo emisor o por el nodo receptor, evitando congestión en las colas de hardware.
Resultados empíricos y alcance de las mediciones
En pruebas sintéticas aisladas ejecutadas sobre racks GB300 NVL72 en formato numérico MXFP8, Cursor reporta un incremento de hasta 2,37 veces en velocidad frente a las implementaciones públicas optimizadas de referencia. Sin embargo, en formatos como BF16 o en fases de retropropagación específicas, las ganancias registradas son menores.
En el entrenamiento integral del modelo Composer a través de múltiples racks conectados, Cursor documenta una mejora sostenida de 1,41 veces en tokens procesados por segundo. Es fundamental distinguir este rendimiento medido en su arquitectura propietaria de promesas comerciales universales: el beneficio en otros modelos dependerá estrictamente del tamaño del modelo, la topología de red y los parámetros de paralelismo seleccionados.
Requisitos técnicos y consideraciones de adopción
MoK está específicamente orientado a aceleradores NVIDIA de arquitectura Blackwell (SM100 y SM103) y depende de versiones recientes y compatibles de PyTorch, CUDA y controladores propietarios. Su adopción requiere equipos de ingeniería capaces de integrar código C++/CUDA en sus pipelines de entrenamiento y validar la convergencia matemática del modelo.
Al distribuirse como código abierto bajo licencia Apache 2.0, los equipos pueden auditar y personalizar los algoritmos de programación de tensores. No obstante, la disponibilidad del software no reduce por sí misma los altos costes de adquisición de hardware o de suministro eléctrico asociados a la operación de superclústeres NVL72.
Preguntas frecuentes
¿Mixture-of-Kittens es un nuevo modelo de inteligencia artificial?No. Es una biblioteca de software y un megakernel de aceleración para optimizar el entrenamiento de modelos de mezcla de expertos en infraestructuras específicas de GPU.
La cifra de 2,37x corresponde a un benchmark de pase hacia adelante en una sola capa MoE aislada bajo MXFP8. La cifra de 1,41x refleja la aceleración medida en el flujo de entrenamiento completo multirack del modelo Composer de Cursor.
No. La implementación actual aprovecha instrucciones y características de interconexión exclusivas de la arquitectura NVIDIA Blackwell en sistemas interconectados por NVLink.















