HealthAdminBench: agentes bajo prueba

Una tarea está terminada cuando el resultado acordado existe y puede comprobarse. Un mensaje convincente ayuda a entender lo ocurrido, pero conviene contrastarlo con el registro correspondiente. Este recurso propone una forma de evaluar agentes: definir el final esperado, observar los pasos y conservar evidencia de lo que efectivamente cambió.

1. Ubicar la evidencia en su fecha

Nigam Shah y Jonathan Chen publicaron una síntesis en Stanford HAI el 19 de octubre de 2026. Explican evaluaciones clínicas y administrativas, con datos sintéticos y entornos simulados. Advierten que las diferencias de interfaces, modelos y puntuación impiden comparar directamente sus tasas de finalización.

HealthAdminBench tiene un preprint v1 del 10 de abril de 2026. Su resumen describe 135 tareas y 1.698 puntos de evaluación. Entre siete configuraciones, la mejor completó el 36,3% de tareas; otra alcanzó el 82,8% de subtareas. Son configuraciones y denominadores distintos. Aquí se consultaron el resumen y el historial, sin revisar el paper completo.

Antes de trasladar un porcentaje a tu organización, pregunta qué cuenta como éxito y bajo qué condiciones se evaluó.

2. Definir el final antes de contar pasos

Consideremos un ejemplo ficticio de logística: preparar un pedido de materiales para un taller. El objetivo acordado es que la recepción quede confirmada con las cantidades correctas. Buscar existencias, reservar unidades, preparar un paquete y redactar una notificación pueden aportar al proceso. Si falta confirmar la recepción, el pedido conserva una condición pendiente.

Completar cuatro de cinco pasos podría ser un avance útil. Para decidir si satisface el encargo, hay que mirar cuál falta y por qué importa. No pesa igual omitir una nota interna que dejar sin resolver el destino del paquete. Esa distinción debe estar escrita antes de observar al agente.

3. Separar el relato del registro

En nuestro ejemplo, el agente podría escribir que actualizó el inventario. La comprobación consiste en consultar el movimiento correspondiente y contrastar producto, cantidad y pedido. Si solo existe la frase, el revisor conserva la acción como no confirmada. No necesita atribuir mala intención: todavía falta evidencia suficiente.

Proceso	Expectativa	Comprobación
Reserva	Unidades asignadas al pedido correcto.	Registro de reserva y referencia coincidentes.
Salida	Movimiento registrado una sola vez.	Detalle del movimiento y saldo esperado.
Recepción	Cantidades recibidas confirmadas.	Constancia vinculada al mismo pedido.

Esta tabla es una propuesta de trabajo para el caso ficticio. Cada equipo debe escoger las pruebas que correspondan a sus sistemas y responsabilidades. Una captura aislada puede resultar insuficiente si no permite identificar qué operación representa.

4. Preparar cinco casos verificables

Un ensayo pequeño puede incluir cinco situaciones elegidas por sus diferencias, sin tratarlas como una muestra estadística del negocio. Se preparan registros ficticios, un estado inicial conocido y un final esperado para cada caso.

• Pedido disponible: hay existencias suficientes. Se espera una recepción confirmada y un movimiento único vinculado al pedido.
• Falta de unidades: el inventario no alcanza. Se espera un pedido pendiente de reposición, sin descontar unidades inexistentes.
• Destino incompleto: falta información necesaria para entregar. Se espera una solicitud de aclaración y el despacho detenido.
• Solicitud repetida: llega dos veces la misma referencia. Se espera conservar un solo pedido y señalar la repetición.
• Recepción parcial: llega una cantidad menor. Se espera registrar lo recibido y mantener visible el saldo pendiente.

Los estados permiten revisar decisiones concretas. Detenerse ante un dato ausente puede ser el resultado correcto. Una evaluación que premie avanzar siempre castigaría precisamente esa conducta responsable.

5. Leer proporciones con su denominador

Antes de interpretar un porcentaje, pregunta qué se contó: solicitudes, pasos, comprobaciones o intentos. Después pregunta bajo qué condiciones entraron al cálculo. Un resultado condicionado a disponer de cierta información responde a una pregunta más estrecha que un resultado calculado sobre todos los pedidos recibidos.

También conviene distinguir el primer intento de una ejecución con correcciones. Si se permite reintentar, se registra esa condición y su esfuerzo adicional. Mezclar ambas situaciones oculta cuánto acompañamiento necesitó el proceso. Nuestro ejemplo no produce una tasa de fiabilidad: cinco situaciones preparadas permiten explorar fallos, sin justificar una estimación general.

La lectura de cómo interpretar puntuaciones de HealthBench ayuda a seguir examinando qué representa una medida.

6. Hacer que otra persona pueda repetirlo

Una prueba reproducible conserva instrucciones, datos ficticios de entrada, permisos, versión del sistema, configuración del agente y condiciones de revisión. También guarda el estado inicial y las comprobaciones esperadas. Al repetirla, se restablece ese punto de partida para evitar que un movimiento anterior altere el siguiente intento.

El canal de pruebas debe declararse explícitamente y quedar separado de las operaciones reales. Los permisos utilizados durante el ensayo se documentan, porque pueden facilitar acciones que otro entorno restringiría. Se registra cada intervención humana: corregir una dirección o completar un dato modifica las condiciones del ejercicio.

Los datos sintéticos permiten estudiar situaciones preparadas. Para sostener una conclusión sobre trabajo real harían falta otras observaciones, responsabilidades y controles acordes con ese contexto. Aquí no evaluamos atención clínica ni resultados en pacientes.

7. Tomar una decisión proporcionada

Después del ensayo, el equipo puede decidir qué revisar primero: la definición del objetivo, los datos de entrada, un permiso o la comprobación final. El registro debe ayudar a localizar la diferencia entre lo esperado y lo observado, sin convertir cada error en una explicación universal.

Antes de ampliar acciones, conviene aclarar quién puede autorizarlas. Puedes continuar con la autoridad y los permisos de los agentes. Un resultado de prueba ayuda a formular la siguiente pregunta; trasladarlo a otra operación requiere comprobar sus condiciones.

8. Preguntas para diseñar tu ensayo

¿Qué escribo primero?

Describe el estado final aceptable y la evidencia necesaria para reconocerlo. Una condición vaga permite que dos revisores aprueben cosas diferentes.

¿Cómo registro una interrupción?

Anota el último estado confirmado, el motivo y la decisión pendiente. Evita marcar como terminada una acción cuyo resultado todavía desconoces.

¿Qué hago cuando los revisores discrepan?

Compara los criterios y conserva la discrepancia. Resolver esa diferencia mejora el ensayo antes de exigirle consistencia al agente.

¿Cuándo necesito más casos?

Cuando una decisión dependa de situaciones que aún no has observado. Amplía por una pregunta concreta y conserva las condiciones de comparación.

En la Comunidad gratuita puedes compartir tu forma de comprobar resultados y aprender de otros ejercicios.

Fuentes: síntesis de Stanford HAI y resumen e historial del preprint.