El Allen Institute for AI (Ai2) presentó Molmo, una innovadora familia de modelos abiertos de visión y lenguaje (VLM) disponibles en tamaños que van desde 7.000 millones (Molmo 7B basado en Qwen2) hasta 72.000 millones de parámetros (Molmo 72B), que introducen una capacidad sin precedentes en modelos de pesos abiertos: el apuntado de píxeles exacto (pointing) para señalar objetos, elementos de interfaz gráfica y coordenadas visuales en imágenes complejas. Entrenados sobre PixMo, un conjunto de datos multimodales rigurosamente curado a partir de habla humana natural y anotaciones espaciales precisas, Molmo 72B supera a modelos propietarios cerrados de escala monumental como GPT-4V y Claude 3.5 Sonnet en 11 benchmarks estándar de comprensión visual y razonamiento espacial.
Capítulo 01
La noticia en una frase
Allen AI lanza Molmo (7B y 72B), modelos abiertos de visión y lenguaje que superan a GPT-4V en apuntado de píxeles y comprensión visual de UI.
En pruebas de localización visual y comprensión de interfaces gráficas, Molmo 72B alcanza una puntuación promedio de 81,2 en 11 benchmarks académicos, superando a GPT-4o y Gemini 1.5 Pro a pesar de contar con menos parámetros.
Capítulo 02
