Noticias IA · Factualidad en LLMs, Calibración de Incertidumbre y Benchmark SimpleQA
Edición: Álvaro MaureiraFecha: 2026-11-02Fuente: OpenAI Research Team
OpenAI anunció la publicación de SimpleQA, un conjunto de datos y marco de evaluación diseñado para medir de forma estricta y reproducible la precisión fáctica de los modelos de lenguaje de frontera en preguntas breves con respuestas únicas e indiscutibles. A diferencia de los benchmarks tradicionales de opción múltiple (donde los modelos pueden adivinar por eliminación) o de respuestas abiertas largas (donde es difícil evaluar la veracidad objetiva), SimpleQA evalúa 4.326 preguntas curadas manualmente por dos revisores independientes. Los resultados revelan una realidad técnica contundente: los modelos más potentes del mercado aciertan menos del 40% de las preguntas cuando operan únicamente con su memoria paramétrica interna, mostrando una marcada tendencia a alucinar datos falsos con alta convicción en lugar de abstenerse.
Capítulo 01
La noticia en una frase
OpenAI presentó SimpleQA, benchmark de 4.326 preguntas fácticas breves donde los LLMs de frontera aciertan menos del 40%.
En la evaluación comparativa, GPT-4o alcanzó un 38,2% de respuestas correctas, GPT-4o mini un 19,7%, Claude 3.5 Sonnet un 28,4% y Gemini 1.5 Pro un 24,9%. Más revelador aún fue que cuando los modelos fallaron, solo en un porcentaje menor reconocieron no saber la respuesta ('no lo sé'), optando mayoritariamente por emitir respuestas incorrectas con formulaciones categóricas.
Capítulo 02
El alcance que cambia la lectura
Medir la factualidad en la IA ha sido históricamente problemático debido a la subjetividad de los evaluadores humanos y la ambigüedad lingüística. SimpleQA delimita el campo a preguntas donde existe una única verdad verificable (por ejemplo, fechas históricas exactas, ganadores de premios científicos o especificaciones astronómicas), aislando con precisión el fenómeno de la alucinación pura.
Capítulo 03
El mecanismo documentado
Cada pregunta del conjunto fue redactada por un evaluador humano y sometida a una revisión ciega por un segundo evaluador independiente. Para ser incluida, ambos evaluadores debían coincidir plenamente en la pregunta y la respuesta tras consultar fuentes primarias fiables. La evaluación automatizada utiliza un LLM como juez que clasifica cada respuesta del modelo probado en tres estados: correcta, incorrecta o no intentada.
Capítulo 04
La relación entre las piezas
SimpleQA se publicó como código abierto en GitHub, proporcionando el dataset completo y los scripts de calificación para que laboratorios de IA y empresas evalúen la calibración de incertidumbre y el impacto de técnicas de fine-tuning y RAG.
Capítulo 05
Qué capacidad se puede atribuir
Se constata una notable utilidad del benchmark para medir si los avances en razonamiento (como los modelos o1 o Claude con 'thinking') mejoran la exactitud fáctica o si, por el contrario, aumentan la verosimilitud de las alucinaciones. Sin embargo, no se debe extrapolar SimpleQA a tareas de razonamiento multi-paso o síntesis conceptual compleja.
Capítulo 06
La puerta de control
Los desarrolladores pueden utilizar SimpleQA para calibrar umbrales de probabilidad de tokens (logprobs) y entrenar modelos para que prefieran declinar responder antes que inventar hechos.
Capítulo 07
Lo que la fuente no demuestra
OpenAI puntualiza que SimpleQA evalúa exclusivamente a los modelos en modo aislado (zero-shot sin acceso a herramientas ni búsqueda web), por lo que las puntuaciones no reflejan el rendimiento de sistemas agentes con recuperación en tiempo real.
Capítulo 08
Cómo probarlo sin prometer de más
El dataset, el código de evaluación y la tabla de resultados están disponibles públicamente en GitHub (`github.com/openai/simple-evals`).
Capítulo 09
Veredicto editorial
SimpleQA expone con sobriedad matemática la gran asignatura pendiente de la IA generativa: un modelo verdaderamente inteligente no es el que siempre responde, sino el que sabe exactamente cuándo callar por falta de evidencia.
Fuente oficial y reporte: OpenAI Research Team
