Artículo
METR detectó brechas históricas en OpenAI
METR publicó el 22 de octubre un piloto con Redwood Research sobre supervisión interna de agentes en OpenAI. Halló brechas en el sistema anterior al 21 de julio. OpenAI afirma haber corregido las que afectaban salvaguardas de producción; METR no verificó esas correcciones ni la cobertura actual.
Qué permite concluir una prueba
El piloto abarcó del 21 de julio al 11 de agosto de 2026. OpenAI podía retirar información del resumen público.
Análisis editorial: una evaluación fechada permite discutir lo observado dentro de su alcance. Para trasladar una conclusión a otra versión, hace falta evidencia de esa versión. Una afirmación de corrección merece una comprobación propia: quién revisó el cambio, sobre qué sistema y con qué resultado.
Conviene leer una noticia de seguridad con dos preguntas abiertas: qué se consiguió demostrar y qué permanece desconocido. Un resumen público aporta información útil, pero sus límites también forman parte de la noticia. La incertidumbre se conserva como tal.
Tres peldaños de la cobertura
Para interpretar la cobertura, proponemos este modelo: dentro del alcance → registro recibido → decisión documentada. Son tres estados del trabajo. El primero expresa una intención; el segundo exige evidencia de recepción; el tercero identifica qué se resolvió.
Imagina que una tarea entra en el alcance, pero su registro no aparece. Contarla como revisada escondería precisamente la pregunta que necesitas investigar. También puede llegar un registro completo y quedar esperando una decisión. En ese caso, recibir evidencia y actuar sobre ella son avances diferentes.
Una cifra de cobertura necesita decir en qué peldaño cuenta los casos. Este modelo editorial permite formular esa pregunta sin atribuir a un porcentaje una garantía de seguridad que no mide.
Qué ocurre al resumir
No supervisar eventos de compactación dejaba tráfico elegible sin revisión. OpenAI había identificado el problema antes y lo corrigió durante el piloto, según METR.
Para entender «compactación», usa esta analogía: un cuaderno de trabajo se cierra y continúa en otro con un resumen de lo necesario para seguir. Si la revisión depende de ciertos hitos, importa comprobar qué ocurre al cambiar de cuaderno.
La analogía no implica que resumir sea incorrecto. Pone la atención en la transición: ¿puedes enlazar el antes con el después?, ¿qué evidencia conservarías para reconstruir una decisión?, ¿cómo reconocerías una tarea que continúa abierta?
Como ejercicio de diseño, dibuja esa transición en tu propio flujo. Una respuesta breve para continuar trabajando y una traza suficiente para revisar cumplen funciones distintas. Comprueba ambas con un caso sencillo antes de asumir que una sustituye a la otra.
Revisar después tiene un costo
El monitor se activaba al devolver el control al usuario; seguir actuando podía aplazar la revisión.
En una revisión asíncrona, el trabajo y su evaluación avanzan por separado. Piensa en una persona que revisa pedidos ya preparados: puede detectar un problema, aunque la preparación haya seguido mientras esperaba.
Para diseñar un flujo, distingue detectar una acción, detenerla y decidir cómo responder. Registrar lo ocurrido ayuda a investigar; por sí solo no deshace un efecto. El momento de la revisión cambia qué decisiones todavía están disponibles.
Pregunta qué evento inicia la evaluación, cuánto puede esperar un caso y qué acciones requieren una decisión previa. Son preguntas editoriales para tu diseño, no una descripción de las protecciones que ofrece hoy un producto concreto.
Cuarenta tareas para practicar
Caso ficticio, con cifras elegidas para aprender: una distribuidora encarga a un asistente preparar cuarenta respuestas. Ocho son borradores de formación excluidos expresamente del alcance operativo. Las otras treinta y dos deben tener un registro antes de que una persona decida enviarlas.
Al cierre aparecen treinta registros. Veinticuatro tienen una decisión humana documentada. Este ejercicio no se ha ejecutado: las cifras no son datos de clientes, resultados de METR ni una medición de OpenAI.
| Cantidad | Qué cuenta |
|---|---|
| 40 | Todas las tareas del ejercicio |
| 32 | Tareas dentro del alcance operativo |
| 30 | Tareas con un registro recibido |
| 24 | Tareas con decisión documentada |
Tres porcentajes, tres preguntas
La recepción respecto del alcance previsto es 30 ÷ 32 = 93,75 %. La proporción de registros con decisión es 24 ÷ 30 = 80 %. Del total de cuarenta tareas, la proporción con decisión documentada es 24 ÷ 40 = 60 %.
Los tres cálculos son correctos. Sus denominadores responden preguntas distintas. Ninguno mide aquí precisión, seguridad o satisfacción: una decisión documentada puede consistir en rechazar una respuesta.
Quedan dos tareas previstas sin registro y seis registros sin decisión. Investiga los primeros para reconstruir qué ocurrió; asigna los segundos a quien pueda resolverlos. Si falta evidencia, conserva el estado «desconocido». Una celda vacía no demuestra que una tarea nunca se ejecutó.
Dos relojes para el mismo trabajo
El caso ficticio permite añadir una pregunta temporal: ¿cuánto transcurrió entre preparar una respuesta y tomar una decisión? Esa demora es distinta del tiempo que tardó el asistente en producirla. Un equipo puede responder rápido y acumular una cola de revisión.
Para ensayarlo, anota dos momentos por tarea: cuándo quedó lista y cuándo se resolvió. Si sigue abierta, conserva su antigüedad y responsable. Evita reducir todo a «procesado», porque esa etiqueta no explica qué trabajo falta.
Define además qué ocurre mientras el caso espera. En este ejercicio, enviar una respuesta requiere aprobación humana. Así puedes distinguir una cola de borradores de una cola de acciones externas ya realizadas. El número pendiente podría ser idéntico; la decisión operativa sería diferente.
Comprueba qué puedes afirmar
Ejercicio: con treinta registros de treinta y dos tareas previstas, ¿puedes afirmar que el sistema supervisó el 93,75 % con éxito? Escribe qué evidencia falta antes de leer la respuesta.
Respuesta razonada: sólo has calculado recepción de registros dentro del alcance definido. Para hablar de éxito necesitas fijar un criterio y comprobarlo. Además, seis registros todavía carecen de decisión documentada. El porcentaje de recepción no resuelve esos casos.
Segunda pregunta: si una respuesta se revisa después de enviarla, ¿es equivalente a revisarla antes? Explica qué consecuencias podrías evitar en cada momento. El ejercicio busca relacionar el momento de la revisión con una decisión concreta, sin convertir una tasa alta en una promesa general.
Una decisión con evidencia suficiente
Elige un flujo pequeño y reversible. Define alcance, registro esperado, momento de revisión y persona responsable. Luego comprueba una transición: una tarea que continúa, un resumen que reemplaza notas o una decisión que queda pendiente. Conserva la evidencia necesaria para explicar qué sucedió.
Antes de ampliar la autonomía, escribe qué cambio permitiría hacerlo y qué observación obligaría a detener el ensayo. Si no puedes reconstruir un caso, identifica la información que falta y quién puede obtenerla.
Esta propuesta editorial aplica las preguntas a un negocio mediante un ejemplo inventado. No certifica ningún producto. La decisión útil deja visibles el alcance de lo comprobado, lo desconocido y la siguiente revisión que podría reducir esa incertidumbre.
