AI21 Labs anunció el lanzamiento de Jamba 1.5, una familia de modelos fundacionales de pesos abiertos (disponibles en variantes Jamba 1.5 Mini de 12B/52B y Jamba 1.5 Large de 94B/398B con mezcla de expertos) basados en una arquitectura híbrida pionera que combina capas de espacio de estados Mamba (SSM) con bloques de atención Transformer tradicionales. Diseñada específicamente para procesar documentos ultralargos con una ventana de contexto nativa de 256.000 tokens, Jamba 1.5 ofrece una velocidad de inferencia hasta 2,5 veces superior a la de los modelos Transformer puros de tamaño comparable en contextos extensos, reduciendo drásticamente la huella de memoria caché de claves y valores (KV cache) sin sacrificar la precisión de recuperación en tareas de aguja en el pajar (needle-in-a-haystack).
Capítulo 01
La noticia en una frase
AI21 Labs lanza Jamba 1.5, modelos híbridos Mamba-Transformer abiertos con ventana de 256k tokens e inferencia 2,5x más rápida en contextos largos.
En evaluaciones estándar de contexto largo como RULER y BABILong, Jamba 1.5 Large iguala o supera a Llama 3.1 70B y Command R+ en precisión de recuperación y resumen de documentos extensos, mientras procesa secuencias de más de 100k tokens a un costo computacional lineal gracias a las capas Mamba intercaladas.
Capítulo 02
