OpenAI desactiva el panel de Evals y orienta a los desarrolladores hacia marcos de prueba abiertos
OpenAI inició el calendario de retirada definitiva de su servicio alojado OpenAI Evals, estableciendo el modo de solo lectura el 31 de octubre de 2026 y fijando el apagado completo de la API y el panel de control para el 30 de noviembre de 2026. La compañía recomienda formalmente a los desarrolladores y equipos empresariales migrar sus bancos de pruebas hacia marcos de evaluación de código abierto, señalando a Promptfoo como la alternativa principal para la integración continua de modelos.
El fin de una herramienta pionera de evaluación
Lanzado originalmente como un repositorio colaborativo para medir el comportamiento y las capacidades de GPT-4, OpenAI Evals evolucionó hacia un panel alojado para calificar la precisión y el sesgo de aplicaciones basadas en lenguaje. Sin embargo, la creciente complejidad de los flujos agénticos y la necesidad de contrastar modelos de múltiples proveedores impulsaron la adopción de herramientas especializadas e independientes.
Con la entrada en modo de solo lectura el 31 de octubre, los usuarios ya no pueden crear nuevas ejecuciones ni modificar configuraciones dentro de la interfaz alojada, debiendo exportar sus datos históricos antes del corte definitivo programado para finales de noviembre.
Rutas de migración recomendadas: Datasets y Promptfoo
La documentación oficial de OpenAI detalla las directrices técnicas para la transición de flujos de trabajo. Para la gestión de datos de prueba y ejemplos etiquetados, la compañía sugiere aprovechar su infraestructura de Datasets o almacenar las colecciones de casos en formatos universales JSONL.
En cuanto al motor de ejecución de evaluaciones y aserciones automatizadas, la recomendación oficial apunta a herramientas de código abierto como Promptfoo. Esta plataforma permite ejecutar suites de pruebas locales o en pipelines de CI/CD, evaluar métricas de coherencia sintáctica y semántica, y medir regresiones de rendimiento de forma desacoplada de la API de un proveedor específico.
Ventajas del desacoplamiento en la gobernanza de modelos
Para los departamentos de tecnología y ciencia de datos, la desaparición de un servicio de evaluación exclusivo del proveedor refuerza una buena práctica de ingeniería: desacoplar la capa de pruebas de la capa de inferencia.
Al emplear suites de evaluación agnósticas, las organizaciones pueden someter un mismo conjunto de pruebas a modelos de OpenAI, Anthropic, Google o variantes locales de código abierto bajo condiciones idénticas de evaluación. Esta neutralidad previene el sesgo de autoevaluación y ofrece telemetría objetiva para comparar costes, latencias y tasas de éxito en producción.
Pasos inmediatos para equipos de desarrollo
Los equipos con dependencias activas en OpenAI Evals deben ejecutar de inmediato tres acciones operativas:
Primero, descargar y respaldar todos los registros de evaluación históricos y matrices de resultados antes del 30 de noviembre. Segundo, convertir los archivos de configuración YAML a formatos estandarizados compatibles con Promptfoo o suites similares. Finalmente, incorporar las pruebas de regresión en los flujos de integración continua para validar que las actualizaciones de modelos no degraden la experiencia del usuario final.
Preguntas frecuentes
¿Qué ocurre si no exporto mis datos antes del 30 de noviembre de 2026?A partir del 30 de noviembre de 2026, el panel y los endpoints de la API de Evals se desactivarán permanentemente, imposibilitando el acceso o recuperación de los historiales almacenados.
No. Promptfoo es una herramienta de código abierto que se ejecuta en local o en infraestructura privada, conectándose únicamente a los proveedores de inferencia configurados por el usuario.
Se retira el producto alojado independiente Evals. Las pruebas y evaluaciones continúan realizándose mediante llamadas directas a la API combinadas con herramientas de orquestación externas.
