OpenAI presentó MLE-bench, un banco de pruebas de referencia diseñado para cuantificar rigurosamente la capacidad de los agentes autónomos de inteligencia artificial para desempeñar tareas completas de ingeniería de aprendizaje automático (Machine Learning Engineering). Basado en 75 desafíos rigurosamente seleccionados de competencias históricas de la plataforma Kaggle, MLE-bench exige que los agentes ejecuten de forma autónoma el ciclo de vida íntegro de la ciencia de datos: desde la ingesta y limpieza de conjuntos de datos crudos hasta el diseño de arquitecturas de modelos, la mitigación de sobreajuste y la optimización de hiperparámetros bajo restricciones estrictas de cómputo y tiempo en GPU, estableciendo un estándar objetivo para medir el avance hacia agentes de investigación capaces.
Capítulo 01
La noticia en una frase
OpenAI presenta MLE-bench, un banco de pruebas estandarizado que evalúa agentes autónomos de IA en 75 desafíos reales extraídos de competencias históricas de Kaggle.
En la evaluación inaugural sobre el modelo OpenAI o1-preview acoplado a un andamiaje de ejecución agéntica, el sistema alcanzó el umbral de medalla de bronce o plata en el 16,9% de las competencias evaluadas, superando holgadamente a modelos de generaciones previas.
Capítulo 02
