Salesforce AI Research liberó xGen-7B, una serie de modelos de lenguaje fundacionales de 7.000 millones de parámetros entrenados de forma nativa desde el inicio sobre secuencias de 8.000 tokens a lo largo de 1,5 billones de tokens de datos, optimizando la comprensión de código y análisis documental extenso.
La noticia en una frase
Salesforce publicó xGen-7B, una familia abierta que introduce preentrenamiento nativo con contexto extendido de 8K tokens para superar las limitaciones de memoria de los modelos tradicionales de 2K y 4K.
