El Technology Innovation Institute (TII) presentó Falcon Mamba 7B, el primer modelo de lenguaje abierto a gran escala basado puramente en la arquitectura State Space Model (SSM), eliminando los mecanismos cuadráticos de atención tradicionales.
La noticia en una frase
TII liberó los pesos abiertos de Falcon Mamba 7B, una arquitectura SSM pura que procesa secuencias arbitrariamente largas con huella de memoria constante en inferencia y supera a Transformers consolidados como Llama 3 8B.
El alcance que cambia la lectura
Durante años, la arquitectura Transformer ha dominado el modelado del lenguaje a pesar de su complejidad computacional cuadrática \(O(N^2)\), que satura la memoria GPU en contextos extensos. Falcon Mamba demuestra empíricamente que un modelo SSM puro puede escalar a 7.000 millones de parámetros y competir directamente en calidad con los mejores Transformers densos sin requerir mecanismos de atención híbridos.
