Artículo
Artificial Analysis lanza Decision Index: cómo leer decisiones y confianza
Artificial Analysis presentó Decision Index v1.0 el 13 de octubre de 2026. El índice ofrece una forma de leer métricas distintas en conjunto, siempre que se conserve el alcance de cada prueba. Entender sus componentes permite distinguir aciertos, abstenciones y confianza antes de llevar un puntaje a una decisión cotidiana.
Qué significa una decisión estructurada
Una tarea presenta un estado con preguntas de opción o sí/no. En una llamada, el modelo de decisión devuelve probabilidades para cada alternativa y se puntúa la de mayor probabilidad. Ese formato permite revisar si la selección y la confianza declarada coinciden con lo observado. Las preguntas abiertas requieren otras capacidades; un índice de opciones prefijadas no las resume automáticamente.
Para un equipo, este recorte puede ayudar a diseñar una evaluación reproducible: declarar las opciones, acordar qué cuenta como correcto y registrar errores y abstenciones. El índice ofrece un marco para ordenar esas preguntas bajo un protocolo; no define las etiquetas de una organización ni el umbral de su sistema. Esa traducción requiere una tarea y evidencia propias.
Cuatro pruebas forman el índice
La tabla muestra los componentes y la métrica que aporta cada uno al promedio ponderado:
| Evaluación | Alcance y métrica |
|---|---|
| AA-Omniscience-Decision | Conocimiento y alucinación: 500 preguntas privadas con cinco alternativas; 12,5% para exactitud y 12,5% para tasa de no alucinación. |
| HLE-MultiChoice | Razonamiento: exactitud en 513 preguntas textuales de selección múltiple, 25%. |
| When2Call | Uso de herramientas: exactitud, 25%. |
| WildGuardTest | Clasificación: promedio de F1, 25%. |
El índice combina las cuatro pruebas con igual peso de 25%. Eso no significa que tengan igual cantidad de tareas, dificultad o cobertura. El promedio facilita una vista conjunta, pero puede ocultar perfiles diferentes: dos resultados parecidos pueden provenir de fortalezas y errores distintos. Conviene leer cada fila antes de usar el total como una descripción general de capacidad.
La abstención tiene una métrica propia
Exactitud y no alucinación responden preguntas distintas. Para interpretar la segunda, hay que separar errores de abstenciones y explicitar la base de cálculo. La fórmula aparece en la primera columna; la derecha usa números inventados para probar la aritmética, no para reconstruir la evaluación publicada.
Imaginemos 100 solicitudes sintéticas de un catálogo interno de soporte, ventas y operaciones. No contienen mensajes ni datos de personas reales. El cuadro distingue el método publicado de una cuenta inventada; los números del ejemplo no son resultados del índice.
| Método descrito por la fuente | Ejercicio ficticio de 100 solicitudes sintéticas |
|---|---|
| Tasa de no alucinación = abstenciones / (total − aciertos). | 60 aciertos, 25 errores y 15 abstenciones; total: 100. |
| El denominador recoge los casos no correctos. | 15 / (100 − 60) = 15 / 40 = 37,5% de tasa de no alucinación. |
| Exactitud = respuestas correctas / total. | 60 / 100 = 60% de exactitud; las abstenciones no son aciertos. |
| La tasa de abstención sobre el total sería otra métrica, con otro denominador. | Esta aritmética ilustra una fórmula; no reproduce la prueba privada ni una medición real. |
En el ejercicio, 37,5% no significa que esa parte de las 100 solicitudes se haya respondido bien. Significa que, entre los 40 casos no correctos, 15 se abstuvieron. Exactitud del 60% y tasa de no alucinación del 37,5% describen aspectos distintos. Tampoco se puede calcular F1 ni calibración con esos tres totales.
Exactitud y F1 contestan preguntas distintas
Exactitud responde qué proporción de todos los casos quedó correcta. F1 combina precisión y exhaustividad: considera qué parte de las predicciones positivas acertó y qué parte de los casos pertinentes detectó. La métrica puede cambiar la lectura porque un total de aciertos y el balance entre falsos positivos y casos omitidos no responden lo mismo.
Por eso no se debe comparar el F1 de clasificación como si fuera la exactitud de una prueba de razonamiento. Un promedio también puede ocultar etiquetas específicas con más errores. Si se necesita aplicar un resultado a un flujo real, conviene revisar los datos por clase y qué tipo de confusión importa para la tarea, además del número agregado.
La probabilidad necesita calibración
En preguntas sí/no, el método marca sí cuando su probabilidad es igual o superior a 0,5; entre varias alternativas, selecciona la de mayor probabilidad. El 0,5 es una regla de puntuación de esta metodología, no un umbral universal de seguridad ni una garantía para otro sistema. Una organización debe justificar por separado sus cortes de decisión, errores aceptables y derivaciones a revisión humana.
Calibración compara la confianza declarada con la frecuencia de acierto observada en grupos de predicciones parecidas. Si un conjunto grande de respuestas cerca de 0,7 acierta alrededor de siete de cada diez veces, esa banda se comporta de forma calibrada. La exactitud global puede ser alta y las probabilidades estar mal ajustadas; también puede haber calibración promedio y errores concentrados en una categoría.
El lanzamiento reporta sobreconfianza en casi todos los rangos, con mejor calibración relativa en herramientas y clasificación que en conocimiento y razonamiento. Es una observación agregada del análisis publicado, no una predicción para una solicitud individual. El ejemplo de 100 solicitudes no incluye bandas de confianza, así que no permite medir calibración.
Del benchmark a una evaluación interna
Un índice aporta vocabulario para formular preguntas, pero una evaluación interna debe describir el trabajo que se quiere medir. En el catálogo ficticio, el primer paso es fijar etiquetas permitidas y la condición que hace correcta cada clasificación. Después se pueden separar respuestas válidas de abstenciones que piden revisión, y conservar evidencia para comprobar cada resultado.
- Definir opciones y respuestas esperadas antes de revisar las salidas.
- Medir por separado aciertos, errores, abstenciones y probabilidades declaradas.
- Revisar cada categoría además del total.
- Precisar cuándo interviene una persona y qué evidencia puede cambiar la decisión.
Así la prueba se puede discutir y repetir. No promete rapidez, calidad ni fiabilidad: ayuda a identificar preguntas que el promedio deja abiertas. La evidencia sobre el catálogo debe provenir de casos etiquetados para ese propósito; un benchmark público solo orienta cómo plantear la medición.
Qué queda fuera del puntaje
Los resultados v1.0 son un corte de lanzamiento; los más recientes aparecen en una clasificación viva separada. Este texto explica el anuncio del 13 de octubre de 2026 y no ofrece una clasificación vigente ni actualiza posiciones.
Cuatro pruebas no representan todos los idiomas, temas, formatos o condiciones de una organización. El nombre del índice no amplía esa cobertura ni equivale a una reproducción de sus datos.
Disponibilidad de un producto, acceso regional y límites de uso son cuestiones separadas que deben verificarse por proveedor y fecha. El puntaje tampoco demuestra que otra implementación reproduzca el entorno de la evaluación. La autoridad sobre las pruebas y resultados corresponde a quienes las diseñan y publican; este texto no vuelve a ejecutar ni validar esas evaluaciones.
No mezclar métricas de dominios distintos
Una comparación útil conserva el contexto: qué tarea contiene cada evaluación, cómo se calcula el resultado y qué límites declara. Un porcentaje aislado no indica si dos conjuntos miden la misma capacidad; cambiar de dominio puede cambiar tanto la respuesta esperada como la rúbrica.
Para contrastar otro ámbito, consulta la lectura de HealthBench, su rúbrica y el ajuste por longitud. Ese artículo aborda conversaciones de salud con métricas distintas a Decision Index. Los resultados no se trasladan ni comparan directamente entre ambos dominios, y el enlace no ofrece consejo médico.
Una lectura práctica antes de usar el resultado
Antes de trasladar un puntaje a una decisión, identifica la tarea, el conjunto y el denominador de cada métrica. Después revisa si la confianza coincide con los aciertos y qué ocurre cuando el modelo se abstiene. Por último, verifica acceso, disponibilidad regional y límites en la fuente vigente del proveedor; esos datos son independientes del benchmark.
La pregunta útil no es qué cifra parece mayor, sino si las pruebas representan la tarea que se necesita resolver. Un promedio de cuatro componentes puede ordenar una conversación técnica siempre que sigan visibles sus pesos, errores y cobertura parcial.
Revisa el anuncio en el anuncio original y sus reglas en la metodología oficial.
