Artículo
Epoch AI evalúa once tareas internas
1. Una prueba sobre trabajo concreto
Epoch AI publicó el 8 de octubre de 2026 un estudio de once tareas internas con seis sistemas de IA. Sus autores, Kelly Hong y Greg Burnham, describen una ejecución por tarea y un evaluador por salida. Sus resultados corresponden a ese trabajo, con herramientas y criterios propios.
Los sistemas combinan modelo y herramientas: sus diferencias no aíslan el efecto del modelo. La metodología también documenta intervenciones humanas excepcionales. No establece representatividad laboral o territorial ni replicación independiente.
Fuentes: Informe original y Método y tareas.
2. La pregunta antes de aceptar
El siguiente caso es un análisis editorial original, hipotético y no ejecutado. Imaginemos un equipo pequeño que prepara un informe mensual para una asociación. Una persona reúne antecedentes, otra propone el texto y una tercera decide si puede circular. Un asistente podría ayudar a redactar; la decisión que queremos diseñar es cómo aceptar su entrega sin perder la relación entre afirmaciones y evidencia.
El encargo contiene una tabla de actividades y una explicación de los cambios. Antes de pedir un borrador, el equipo escribe qué significa terminar: cada afirmación relevante debe apuntar a un antecedente identificable, la tabla debe poder reconstruirse y cualquier información pendiente debe quedar señalada. Una frase convincente todavía requiere ese recorrido.
3. Convertir el encargo en criterios
En nuestro ejemplo, el equipo entrega actas y una hoja de cálculo. Precisa destinatario, período y decisiones que el informe permitirá tomar. También identifica las preguntas que quedan fuera: el borrador no debe interpretar intenciones de participantes ni completar actividades ausentes mediante suposiciones. Esas exclusiones evitan que una narración fluida amplíe el encargo.
La aceptación se escribe antes del borrador. Un criterio exige que las fechas correspondan a los antecedentes; otro pide totales reproducibles; un tercero distingue acuerdos de propuestas. Si aparece una ambigüedad, el asistente debe señalarla. Así se puede discutir una regla concreta, en lugar de negociar si el texto parece suficientemente profesional.
4. Verificar una afirmación
Supongamos que el borrador dice que todas las actividades previstas se realizaron. La persona revisora busca las filas de respaldo, comprueba qué significa actividad realizada y vuelve al acta. Si una fila solo registra una convocatoria, afirmar su realización requiere corregir o aclarar el texto.
El recorrido también sirve cuando el texto es prudente pero la tabla tiene un total equivocado. Una cuenta comprobable y una interpretación adecuada son controles distintos. Podemos aceptar la operación y rechazar la conclusión. Guardar ambos juicios evita que corregir una cifra se convierta en aprobación completa del documento.
Afirmación → antecedente → comprobación → decisión. En este caso hipotético, otra persona debe poder reconstruir el recorrido.
5. Decidir con evidencia
Estas cinco comprobaciones conectan objetos y decisiones del informe imaginario. Los antecedentes serían los del encargo real; no hay archivos descargables ni resultados medidos.
- Afirmación: buscar respaldo; sostener o corregir.
- Tabla: reproducir operación; validar o recalcular.
- Acuerdo: comprobar estado; confirmar o consultar.
- Pendiente: identificar ausencia; resolver o declarar.
- Entrega: revisar responsablemente; aceptar o devolver.
El equipo anota por qué una comprobación queda abierta. Las casillas no producen una nota final. Una afirmación central sin respaldo puede impedir la entrega aunque otras estén bien. La importancia del defecto depende de la decisión del lector.
6. Separar preparación y aceptación
En este diseño, quien prepara el borrador deja junto a cada punto discutible su antecedente y su duda. Quien revisa puede pedir una comprobación adicional sin rehacer todo el documento. La persona que acepta recibe el texto corregido y la lista de asuntos pendientes. Los tres papeles pueden distribuirse de otra manera; lo esencial es saber quién decide cada paso.
Si un equipo solo tiene dos personas, puede reservar una segunda lectura para las afirmaciones que cambian una decisión. Es una propuesta de organización para este ejemplo, sin estimación de tiempo ahorrado. No conocemos cuánto tardaría ni si mejoraría el trabajo. Para averiguarlo habría que observar entregas comparables y registrar las correcciones requeridas.
7. Diseñar una comparación que responda algo
Si el equipo quisiera evaluar dos formas de preparar el informe, tendría que conservar el mismo encargo, antecedentes y criterios de aceptación. También anotaría qué ayuda recibió cada intento. Una devolución que revela el error puede cambiar lo que se está evaluando: completar el trabajo con orientación es una pregunta diferente de resolverlo con las instrucciones iniciales.
Antes de comparar, el equipo elegiría qué observar: afirmaciones respaldadas, operaciones corregibles, dudas detectadas o cambios pedidos por quien acepta. Todavía no hay valores para esas observaciones. Una entrega atractiva no demostraría por sí sola que el procedimiento resulta más fiable; una entrega rechazada tampoco explicaría la causa sin examinar dónde se rompió el recorrido de evidencia.
8. Lo que esta pauta deja abierto
El ejercicio termina con preguntas pendientes. ¿Los antecedentes estaban completos? ¿Dos personas interpretarían igual el criterio de aceptación? ¿Un error pequeño en apariencia alteraría una decisión importante? Resolver esas preguntas exige conocimiento del encargo. La pauta ayuda a localizar conversaciones necesarias, pero no reemplaza a la persona que entiende las consecuencias de distribuir el informe.
También conviene conservar los desacuerdos. Si alguien acepta una interpretación y otra persona pide corregirla, registrar sus razones permite revisar el criterio. Ocultar la discrepancia para cerrar la entrega elimina información útil. En nuestro caso, el resultado deseable sería un informe cuya aceptación pueda explicarse, con pendientes visibles y responsabilidades claras; su calidad efectiva sigue sin haberse medido.
9. Llevar la pregunta al propio equipo
Para comenzar, elige una afirmación de un informe habitual y reconstruye su camino hasta el antecedente. Anota dónde necesitas consultar a alguien y qué condición permitiría aceptarla. Ese pequeño recorrido puede ayudarte a formular un encargo más claro. No hace falta convertirlo en una clasificación de herramientas: primero identifica qué decisión necesita evidencia y quién tendrá que responder por ella.
En el informe imaginario, conserva por separado la afirmación inicial, el antecedente consultado y la corrección acordada. Si después alguien pregunta por qué cambió el documento, ese registro permite explicar la decisión sin depender de la memoria de quien lo revisó.