Scale AI presentó SEAL (Safety, Evaluations, and Alignment Lab), un marco de evaluación independiente y riguroso diseñado para medir las verdaderas capacidades de razonamiento, código, seguimiento de instrucciones complejas y ciberseguridad en los modelos de frontera más avanzados del mundo. Ante la creciente crisis de contaminación de datos —donde los modelos memorizan los bancos de pruebas tradicionales como GSM8K o MMLU al haberlos absorbido en su preentrenamiento—, SEAL implementa conjuntos de datos de prueba ciegos, privados y continuamente regenerados por redes de expertos de dominio, estableciendo una tabla de clasificación pública y verificable que clasifica el rendimiento real de modelos como o1, Claude 3.5 Sonnet, GPT-4o y Gemini 1.5 Pro.
Capítulo 01
La noticia en una frase
Scale AI lanza SEAL, marco de evaluación independiente con pruebas no contaminadas para auditar razonamiento, código y ciberseguridad en modelos de frontera.
En sus primeras tablas de clasificación publicadas, SEAL reveló diferencias de rendimiento de hasta un 35% en tareas complejas de programación y ciberdefensa entre modelos que en benchmarks públicos tradicionales parecían empatados, evidenciando el impacto directo de la contaminación de datos en las métricas convencionales.
Capítulo 02
