Zyphra presentó formalmente Zamba2, una nueva familia de modelos de lenguaje híbridos de código abierto en escalas de 1.200 millones y 2.700 millones de parámetros que redefine la eficiencia en inferencia mediante la fusión de bloques Mamba2 y capas de atención Transformer globales compartidas. Frente a los modelos basados exclusivamente en mecanismos de atención que sufren una complejidad cuadrática y un crecimiento insostenible de la memoria de claves y valores (KV cache), Zamba2 procesa la mayor parte de las dependencias textuales a través de modelos de espacio de estados (SSMs) con complejidad computacional lineal. Al incorporar bloques de atención Transformer compartidos cada seis capas Mamba2, el sistema retiene una memoria asociativa de alta fidelidad, superando a arquitecturas convencionales como Gemma 2 y Llama 3.2 en velocidad de generación y precisión por parámetro.
Capítulo 01
La noticia en una frase
Zyphra presenta Zamba2, modelos híbridos Mamba2-Transformer con atención compartida para inferencia ultrarrápida y mínimo consumo de memoria VRAM.
El diseño híbrido combina la velocidad lineal de los bloques Mamba2 con la retención asociativa de capas de atención globales reutilizadas en profundidad.
Capítulo 02
El alcance que cambia la lectura
El despliegue de modelos de lenguaje en dispositivos móviles y hardware de borde da un giro decisivo: la reducción drástica de la memoria KV cache permite mantener conversaciones largas y agentes locales sin agotar la RAM ni provocar estrangulamiento térmico.
