El Technology Innovation Institute (TII) de Abu Dabi presentó Falcon 40B, un modelo de lenguaje fundacional abierto de 40.000 millones de parámetros entrenado sobre 1 billón de tokens de RefinedWeb bajo licencia comercial Apache 2.0 y pionero en Multi-Query Attention a gran escala.
La noticia en una frase
TII liberó Falcon 40B, un modelo fundacional sin regalías entrenado sobre el corpus de alta calidad RefinedWeb que reduce el consumo de memoria en inferencia gracias a Multi-Query Attention.















