AWS muestra cómo organizar pruebas con agentes de IA y permisos por equipo en QA Studio
Amazon Web Services ha detallado la arquitectura de gobernanza y control de accesos para QA Studio, su solución de referencia basada en Amazon Nova Act para la automatización de pruebas mediante agentes de inteligencia artificial. La entrega técnica aborda el problema de escalar suites de pruebas agénticas en grandes empresas de software, introduciendo un modelo de cinco roles acumulativos, aislamiento por equipos, puntuación de salud con penalización por pruebas intermitentes (flaky tests) e integración segura en tuberías de CI/CD. Artículo técnico en el blog de Machine Learning de AWS · Repositorio de muestra en GitHub: sample-qa-studio.
El desafío de escalar agentes de control de calidad (QA)
La primera generación de herramientas de pruebas con IA demostró la capacidad de traducir instrucciones en lenguaje natural en clics, navegación y validaciones visuales. Sin embargo, cuando decenas de equipos de ingeniería comparten cientos de casos automatizados, surge el caos operativo: suites huérfanas sin dueños claros, ejecuciones concurrentes que saturan entornos de staging y resultados inestables que destruyen la confianza en la canalización de despliegue continuo.
QA Studio resuelve esta fragmentación estructurando los recursos en torno a Aplicaciones: cada aplicación representa un producto o superficie digital con su URL base y entornos configurados (desarrollo, pruebas, pre-producción). Toda suite o caso de prueba pertenece obligatoriamente a una aplicación y a un equipo custodio.
| Rol en QA Studio | Alcance de Permisos | Capacidades Principales | Interacción Cruzada entre Equipos |
|---|---|---|---|
| Viewer | Lectura estricta | Consultar métricas, historiales y grabaciones de sesión | Permanece en lectura aun si la app se comparte con edición |
| Executor | Ejecución de suites | Lanzar pruebas manuales o vía webhooks en staging | Permite disparar pruebas en aplicaciones autorizadas |
| Editor | Creación y modificación | Diseñar casos en lenguaje natural y ajustar pasos de agentes | Edición acotada al equipo propietario o apps con permiso full |
| Team Lead | Gestión de equipo | Asignar miembros, compartir apps con otras áreas y rotar llaves | Administra las concesiones cruzadas del equipo |
| Admin | Gobierno global | Configuración del clúster CDK, cuotas CloudWatch y políticas | Acceso total a todos los tenants y recursos del estudio |
Métricas de Salud y Detección de Pruebas Intermitentes (Flaky Tests)
Uno de los mayores aportes técnicos de la arquitectura de AWS es su fórmula de Health Score (0 a 100), instrumentada directamente en Amazon CloudWatch. A diferencia de un simple promedio de tasa de éxito que enmascara fallos recurrentes, el algoritmo aplica un castigo matemático a las pruebas que alternan aleatoriamente entre aprobado y fallido en ventanas de 7 días:
Cuando una prueba se vuelve intermitente debido a condiciones de carrera, tiempos de carga de red o dependencias externas inestables, su puntaje de salud desciende rápidamente, alertando al equipo antes de que la suite bloquee un despliegue en producción. Además, cada ejecución fallida queda vinculada a la traza detallada de razonamiento y a la grabación de video de la sesión de Nova Act para facilitar el análisis forense inmediato.
La Regla del Permiso Menor en Acceso Compartido
Para permitir que equipos transversales (como seguridad, rendimiento o accesibilidad) colaboren sin poner en riesgo la integridad de las pruebas, el autorizador Lambda de QA Studio implementa la regla del permiso menor:
- Si el Equipo A comparte una aplicación con nivel Full Access al Equipo B, un usuario del Equipo B que posea el rol
Viewersolo podrá ver las pruebas y no podrá editarlas. - Por el contrario, si un usuario posee el rol
Editoren su propio equipo, pero accede a una aplicación ajena compartida con nivel Read Only, sus facultades de edición quedan automáticamente suprimidas en esa aplicación específica.
Arquitectura Serverless e Infraestructura como Código (CDK)
La solución se distribuye como código abierto de referencia y se despliega íntegramente dentro de la cuenta AWS del cliente mediante el AWS CDK. Los componentes clave incluyen:
- Amazon Cognito: Gestión de identidades federadas, grupos de usuarios y mapeo de tokens JWT con roles de equipo.
- AWS Lambda & API Gateway: Autorizador personalizado que valida claims de identidad contra DynamoDB en menos de 10 milisegundos.
- Amazon DynamoDB: Persistencia de metadatos de aplicaciones, membrecías y tablas de relación de acceso cruzado.
- Amazon CloudWatch & Nova Act: Registro unificado de métricas de ejecución, latencias de agentes y almacenamiento seguro de trazas de sesión.
Preguntas Frecuentes
¿QA Studio es un servicio gestionado independiente de AWS?No. Es una solución de arquitectura de referencia (sample solution) desarrollada por AWS que los equipos despliegan en su propia cuenta mediante AWS CDK utilizando servicios nativos como Lambda, DynamoDB y Amazon Nova Act.
El algoritmo de Health Score en CloudWatch evalúa la frecuencia de oscilación entre éxito y fracaso en los últimos 7 días. Si una prueba aprueba y falla de forma errática sin cambios de código, su puntaje se reduce para alertar al equipo de ingeniería.
En el despliegue estándar de referencia, todos los datos, resultados de pruebas, métricas de CloudWatch y grabaciones de sesión permanecen confinados dentro de los límites de la cuenta AWS del cliente.
Sí. Permite autenticar identidades de máquina mediante el flujo de credenciales de cliente (OAuth client credentials) para disparar suites de pruebas de forma desatendida tras cada commit o Pull Request.
