Noticias IA · Agentes de Visión, Interfaces de Usuario y Automatización Móvil
Edición: Álvaro MaureiraFecha: 2026-11-02Fuente: Apple Machine Learning Research
Apple Machine Learning Research dio a conocer Ferret-UI, un modelo multimodal de pesos abiertos específicamente optimizado para la comprensión detallada, el razonamiento y la interacción con pantallas de teléfonos inteligentes (iOS y Android). A diferencia de los modelos de visión de propósito general que fallan al interpretar pantallas de relación de aspecto vertical o elementos diminutos como iconos de navegación y barras de estado, Ferret-UI introduce una técnica de magnificación adaptativa por subregiones que le permite localizar con precisión de píxel cualquier widget, texto o control interactivo, abriendo la puerta a agentes de sistema operativo capaces de operar aplicaciones móviles de forma totalmente autónoma.
Capítulo 01
La noticia en una frase
Apple presentó Ferret-UI, modelo multimodal para comprender pantallas móviles y automatizar acciones de interfaz.
En pruebas sobre conjuntos de datos móviles estándar (como Rico y Android Control), Ferret-UI superó ampliamente a GPT-4V y modelos abiertos de visión en tareas de 'pointing' (señalar elementos), detección de iconos sin texto y predicción de toques de pantalla, alcanzando una precisión de localización superior al 91.5% en pantallas complejas de alta densidad de información.
Capítulo 02
El alcance que cambia la lectura
La comprensión automatizada de interfaces móviles es uno de los mayores desafíos para los agentes de software debido a las proporciones alargadas (19.5:9), la proliferación de botones abstractos sin etiquetas semánticas y la superposición de menús flotantes. Ferret-UI resuelve este problema al dotar a los modelos de visión de la capacidad de percibir las pantallas tal como las experimenta un usuario humano.
Capítulo 03
El mecanismo documentado
El modelo divide la imagen vertical de la pantalla en dos cuadrículas cuadradas de alta resolución antes de procesarlas mediante su codificador visual CLIP acoplado a un proyector espacial. Esto preserva los detalles finos de los iconos pequeños sin distorsión de relación de aspecto, permitiendo al decodificador de lenguaje generar coordenadas de clic normalizadas y descripciones funcionales de cada elemento.
Capítulo 04
La relación entre las piezas
Ferret-UI sienta las bases arquitectónicas para la evolución de asistentes virtuales hacia agentes operativos integrados en sistemas como Apple Intelligence, además de proporcionar herramientas fundamentales para pruebas automatizadas de software y auditorías de accesibilidad en apps móviles.
Capítulo 05
Qué capacidad se puede atribuir
Se comprueba una capacidad extraordinaria para identificar botones de retroceso, interruptores de alternancia (toggles), campos de contraseña ocultos y controles gestuales implícitos. Sin embargo, no se debe asumir que el modelo pueda anticipar cambios dinámicos de interfaz causados por latencias de red imprevistas o animaciones lentas sin telemetría en tiempo real.
Capítulo 06
La puerta de control
Los desarrolladores e investigadores pueden ajustar los límites de detección espacial (bounding boxes) y evaluar la confianza de la predicción antes de autorizar eventos de clic simulados.
Capítulo 07
Lo que la fuente no demuestra
El equipo de Apple subraya que Ferret-UI es un modelo de percepción y comprensión de UI; no incluye un planificador de razonamiento a largo plazo para flujos de cientos de pasos, requiriendo un orquestador de alto nivel para tareas complejas de múltiples pantallas.
Capítulo 08
Cómo probarlo sin prometer de más
El código fuente, los puntos de control del modelo y las instrucciones de entrenamiento están disponibles públicamente en el repositorio de investigación de Apple (`github.com/apple/ml-ferret`).
Capítulo 09
Veredicto editorial
Ferret-UI confirma que la próxima gran frontera de la inteligencia artificial no está solo en generar texto, sino en interactuar de forma soberana y útil con las herramientas digitales cotidianas en las pantallas de nuestros bolsillos.
Fuente oficial y reporte: Apple Machine Learning Research
