Epoch: modelos de pesos abiertos, 6–7 meses detrás en Cyber ECI

Alcance del anuncio

Antes de usar una cifra para elegir una herramienta, escribe qué necesitarías saber de tu tarea concreta. ¿Qué resultados contarían como aciertos? ¿Qué error sería inaceptable? El ejercicio de este artículo ayudará a separar el cálculo de calendario de esa decisión.

Cómo se traduce a meses

Epoch enmarca el puntaje de GLM-5.3, el mayor abierto, con dos lanzamientos cerrados: GPT-5.4 queda debajo y Claude Mythos Preview arriba. Las fechas respectivas estaban siete y seis meses antes del corte.

Un ejercicio inventado

Este único ejercicio usa nombres, puntajes, escala y fechas ficticios. Ninguno corresponde a modelos, resultados u observaciones de Epoch o Cyber ECI. El corte imaginario es el 10 de julio de 2098. La pregunta es mecánica: qué lanzamientos cerrados enmarcan la puntuación de un modelo abierto.

A es el punto que queremos ubicar. B y C fijan los lados de su puntuación: 47 queda debajo de 50 y 53 por encima. Sus fechas sirven como anclas respecto del corte de julio. La fecha de A no hace falta para esta operación; el ejercicio traduce la posición de su resultado comparado con las fechas de los otros dos lanzamientos.

Calcular la ventana de meses

Del 10 de enero al 10 de julio hay seis meses. Del 10 de marzo al 10 de julio hay cuatro. Como B queda por debajo de A en la escala inventada y C por encima, la puntuación de A queda enmarcada por dos lanzamientos ocurridos entre cuatro y seis meses antes del corte ficticio.

La salida es una ventana de cuatro a seis meses. No es una fecha exacta de “llegada” ni la edad del modelo A. El cálculo tampoco supone que las capacidades suban de forma continua entre B y C: solo usa dos anclas fechadas para colocar un resultado de referencia.

No hace falta promediar los extremos para fabricar una medición de cinco meses. El punto medio sería una operación aritmética adicional, no una observación. Si ninguna de las anclas quedara cerca del corte, la ventana seguiría describiendo el encuadre elegido, no una regla sobre todos los lanzamientos posibles.

Puntaje y tiempo son ejes distintos

En la tabla, 47 y 53 encierran el resultado 50. La distancia entre los puntajes de B y C es seis unidades ficticias. En el calendario, las fechas de B y C están entre cuatro y seis meses antes del corte: la ventana temporal tiene dos meses de ancho. Ambos rangos describen cosas diferentes.

No se puede convertir automáticamente seis puntos en dos meses, ni concluir que cada punto representa cierto número de días. Para hacerlo haría falta una relación explícita entre puntuación y fechas, construida con más que estos dos extremos. La tabla no muestra cómo evolucionan los resultados entre enero y marzo, ni cuándo se alcanzó exactamente 50.

Esta separación evita una falsa precisión. Decir “47–53 puntos” informa un tramo de la escala ficticia; decir “cuatro–seis meses” informa cuánto antes del corte cayeron los lanzamientos que la enmarcan. Ninguno de los dos números completa la historia del otro. Son dos respuestas a preguntas distintas.

Cuando cambian las pruebas

Sigamos con los mismos B y C. Supongamos que B obtuvo su 47 en tres tareas ficticias de lectura de registros, mientras C obtuvo 53 en tres tareas ficticias de revisión de reglas. Aunque el ejercicio asigne ambos resultados a una escala común, las observaciones no vienen del mismo conjunto de problemas.

La ventana de fechas aún se calcula según las reglas que fijamos, pero la explicación de por qué los puntajes difieren queda abierta. Quizá las tareas representen capacidades distintas; quizá el orden cambie si ambos modelos resuelven las mismas preguntas. Este ejemplo no decide entre esas posibilidades, porque no contiene una comparación pareada.

Si la decisión depende de un enfrentamiento directo, habría que probar B y C con el mismo material, instrucciones y criterio de revisión. La lección no es que los conjuntos diferentes sean inútiles; es que una escala compartida no los convierte por sí sola en pruebas idénticas. La conclusión debe ajustarse a la evidencia que sí existe.

Llevarlo a una cola de alertas

En el mismo ejercicio, una organización considera A para clasificar resúmenes inventados de alertas de ciberseguridad y recomendar una prioridad a una persona. El asistente sería de solo lectura: no cambiaría reglas ni ejecutaría acciones. El cálculo temporal no dice si A redacta buenas clasificaciones; solo ordena una comparación ficticia de resultados y fechas.

Para saber si sirve en esa cola, el equipo prepara ejemplos que representen sus mensajes y hace que la misma versión de A los clasifique con instrucciones estables. Quien revisa anota errores, casos sin información suficiente y situaciones en que el modelo afirma algo que no aparece en el resumen. Las etiquetas y el criterio de revisión se acuerdan antes de mirar los resultados.

La prueba conserva una persona como responsable de la decisión. Esa condición no se deduce del puntaje: forma parte del diseño de la tarea. Aquí la cola y A son piezas del único ejemplo inventado; no describen un producto, un ensayo ni un resultado observado.

La decisión que sí permite el ejercicio

Con los datos ficticios disponibles solo se puede explicar cómo aparece una ventana temporal. No hay respuestas de la tarea de alertas, errores medidos ni un umbral acordado. Por eso nadie puede concluir que A deba entrar en una operación, aunque el cálculo de cuatro a seis meses sea correcto dentro del ejemplo.

La decisión razonable sería si vale la pena organizar una evaluación pareada, no si conviene desplegar A. Para avanzar, se define una muestra, una rúbrica para acierto y abstención, y qué fallos detendrían el piloto. Se comparan condiciones iguales y se conserva la revisión humana prevista.

Si esa evaluación no se hace, el resultado debe quedarse en “candidato para estudiar”. Si se hace y los casos críticos salen mal, el equipo tendría una razón concreta para frenar o ajustar la tarea. Si funciona en la muestra, eso apoyaría el siguiente paso acotado; no demostraría que todo otro uso funcionará igual.

La regla para llevarse

En este ejercicio, la fecha de corte y dos lanzamientos producen una ventana de cuatro a seis meses, mientras la puntuación ocupa otro rango. La operación puede ser transparente y reproducible; la decisión sigue dependiendo de qué tareas se midieron y qué uso se pretende. Separar esos planos evita que una comparación de calendario se convierta en una promesa de rendimiento.

Análisis elaborado con fragmentos verificables de la publicación original; no revisa su totalidad.

Fuente: Epoch AI

Continúa: Comunidad IA · Evaluación relacionada: SpireClimb.