Meta FAIR anunció la liberación de Chameleon, una familia pionera de modelos fundacionales de pesos abiertos (disponibles en variantes de 7 mil millones y 34 mil millones de parámetros) construidos bajo un paradigma de fusión temprana totalmente multimodal. Mientras que los modelos multimodales convencionales procesan imágenes a través de codificadores visuales separados cuyos embeddings se inyectan en un LLM de texto plano, Chameleon utiliza un vocabulario unificado que proyecta tanto palabras como píxeles cuantizados en un único espacio de representación secuencial. Esta arquitectura le permite leer, razonar y generar documentos complejos intercalando libremente párrafos de texto con imágenes sintéticas coherentes en cualquier posición de la salida, superando las limitaciones de los sistemas disjuntos.
Capítulo 01
La noticia en una frase
Meta libera Chameleon, familia de modelos abiertos que fusiona texto e imagen en una secuencia única para comprender y generar ambos modos de forma entrelazada.
En evaluaciones humanas de generación de documentos de modo mixto (páginas con texto explicativo e ilustraciones generadas contextualmente), Chameleon-34B superó a Gemini Pro y GPT-4V, alcanzando además un rendimiento competitivo frente a modelos cerrados en tareas de razonamiento visual puro y respuestas a preguntas sobre gráficos.
Capítulo 02
