Microsoft Research presentó OmniParser, un modelo de visión por computadora diseñado específicamente para convertir capturas de pantalla de interfaces gráficas de usuario (GUI) en elementos estructurados y accionables, permitiendo que agentes basados en modelos multimodales interactúen de forma autónoma con cualquier software de escritorio o móvil. A diferencia de las aproximaciones convencionales que dependen de árboles de accesibilidad fragmentados, APIs del sistema operativo o inspectores DOM web —frecuentemente inaccesibles o inconsistentes entre plataformas—, OmniParser opera de manera puramente visual. Al procesar una imagen de la pantalla, detecta con exactitud milimétrica regiones clicables, campos de texto e iconos interactivos, dotando a los agentes de capacidades precisas de localización espacial y reduciendo drásticamente las alucinaciones de clic.
Capítulo 01
La noticia en una frase
Microsoft presenta OmniParser, modelo de visión para parseo de pantallas y control agéntico de interfaces gráficas sin depender de APIs ni del DOM.
El sistema analiza capturas de pantalla crudas y extrae cajas delimitadoras numeradas con descripción semántica para que cualquier LLM multimodal ejecute clics e interacciones sin errores.
Capítulo 02
