RWKV Foundation y Bo Peng (BlinkDL) presentaron formalmente RWKV-v6 Finch, la evolución más avanzada de la arquitectura de Red Neuronal Recurrente con atención lineal que resuelve de forma definitiva el dilema de la complejidad cuadrática en el procesamiento del lenguaje natural. A diferencia de los modelos Transformer que requieren almacenar toda la historia previa en una voluminosa memoria KV cache cuyo tamaño crece linealmente con cada nuevo token, RWKV-v6 Finch condensa el contexto arbitrariamente largo en un estado matricial multidimensional de tamaño fijo O(1). Esta innovación permite procesar contextos de millones de tokens con un consumo constante y predecible de memoria VRAM, manteniendo paralelismo masivo durante el entrenamiento y una velocidad de decodificación lineal inigualable en hardware de consumo.
Capítulo 01
La noticia en una frase
RWKV Foundation lanza RWKV-v6 Finch, arquitectura que combina la expresividad de los Transformers con el costo de memoria constante O(1) de redes recurrentes.
El diseño lineal de estado matricial permite ingerir secuencias de longitud infinita sin saturar la memoria VRAM durante la decodificación continua.
Capítulo 02
