Noticias IA · Agentes de Escritorio e Interacción Persona-Computador
Edición: Álvaro MaureiraFecha: 2026-11-01Fuente: Anthropic Engineering & Claude 3.5 Sonnet Documentation
Anthropic introdujo la capacidad pionera de 'Computer Use' en la API de Claude 3.5 Sonnet. El modelo ahora puede interactuar directamente con interfaces de usuario estándar de sistemas operativos emulando las acciones de un operador humano: observa capturas de pantalla, analiza coordenadas pixel exactas, desplaza el cursor del ratón, hace clics y teclea texto en cualquier aplicación de software existente sin requerir conectores API propietarios.
Capítulo 01
La noticia en una frase
Anthropic lanzó Computer Use en Claude 3.5 Sonnet, permitiendo a los modelos interpretar pantallas, mover el cursor, hacer clic y escribir texto.
En noviembre de 2026, Anthropic habilitó en fase beta pública la herramienta `computer_20241022` dentro de la API Messages de Claude 3.5 Sonnet. En el benchmark estandarizado OSWorld (que evalúa tareas de escritorio complejas en entornos Linux no modificados), Claude alcanzó una precisión del 22.0% en su categoría visual de captura y acción, más del doble que cualquier otro modelo de IA evaluado.
Capítulo 02
El alcance que cambia la lectura
Hasta la llegada de Computer Use, automatizar tareas en software heredado o aplicaciones de escritorio que carecen de APIs públicas exigía scripts frágiles de RPA (Robotic Process Automation) basados en selectores DOM o posiciones fijas en pantalla que se rompían ante cualquier cambio estético menor. Claude interpreta visualmente el contexto semántico de la interfaz, adaptándose de forma flexible a ventanas redimensionadas, temas oscuros o menús emergentes.
Capítulo 03
El mecanismo documentado
El bucle de ejecución se basa en una herramienta nativa que recibe comandos del modelo y retorna observaciones visuales. El modelo emite llamadas a acciones específicas como `mouse_move(x, y)`, `left_click()`, `type(text)` o `screenshot()`. Un contenedor o entorno virtual ejecuta la acción mediante utilidades del sistema (como xdotool en X11 o APIs nativas de accesibilidad) y envía una nueva captura de pantalla como respuesta para que Claude valide el resultado.
Capítulo 04
La relación entre las piezas
Computer Use se integra de manera inmediata con entornos de virtualización y contenedores Docker aislados. Los desarrolladores pueden ejecutar el agente dentro de máquinas virtuales supervisadas en la nube o en estaciones de trabajo locales a través de sockets VNC, combinando el control de pantalla con llamadas a herramientas bash convencionales para flujos híbridos de desarrollo.
Capítulo 05
Qué capacidad se puede atribuir
Se comprueba una habilidad notable para completar tareas de ofimática, navegación web y pruebas de software exploratorio en interfaces gráficas. Sin embargo, no se debe atribuir al modelo la capacidad de jugar a videojuegos de acción rápida con reflejos instantáneos ni de ejecutar acciones de microsegundos, dado que cada ciclo de captura-razonamiento-acción toma de 1 a 3 segundos de inferencia.
Capítulo 06
La puerta de control
Para contener riesgos de seguridad operacional (como clics accidentales en transferencias bancarias o eliminación inadvertida de archivos del sistema), Anthropic exige que el entorno se ejecute en sandboxes con privilegios mínimos, navegación web restringida y confirmación interactiva humana antes de autorizar acciones con efectos destructivos irreversibles.
Capítulo 07
Lo que la fuente no demuestra
La documentación de Anthropic no demuestra que Computer Use sea infalible ante ataques de inyección de prompt visual indirecta (por ejemplo, imágenes en páginas web que contienen texto oculto con instrucciones maliciosas para el agente); la supervisión humana sigue siendo una salvaguarda obligatoria en entornos de producción con datos confidenciales.
Capítulo 08
Cómo probarlo sin prometer de más
Los equipos de ingeniería pueden clonar el repositorio de referencia de Anthropic en GitHub, levantar el contenedor Docker con escritorio XFCE preconfigurado mediante `docker-compose up` y ordenar al agente a través de una interfaz Streamlit que busque información en un navegador y la compile en una hoja de cálculo local.
Capítulo 09
Veredicto editorial
Computer Use representa un salto cualitativo hacia la automatización universal: al enseñar a los modelos de lenguaje a utilizar las mismas pantallas, teclados y ratones que los humanos, se derriba la barrera entre el software moderno habilitado para IA y el legado histórico de millones de programas que mueven la economía global.
Fuente oficial y reporte: alvaromaureira.cl
