Investigadores de Apple, la Universidad de Washington y el Allen Institute for AI presentaron DataComp for Language Models (DCLM), un marco de investigación riguroso y una suite de modelos fundacionales de código abierto que demuestran empíricamente que la calidad sistemática de los datos de entrenamiento es un determinante mucho más potente que el simple volumen no estructurado. Como resultado emblemático de esta iniciativa, el equipo entrenó DCLM-Baseline-7B sobre 2,5 billones de tokens filtrados mediante clasificadores basados en modelos rápidos y heurísticas avanzadas, alcanzando una puntuación del 64,4% en MMLU (5-shot). Esta métrica supera de forma directa a modelos consolidados como Llama 3 8B y Gemma 7B entrenados sobre volúmenes de datos significativamente mayores, marcando un nuevo estándar de reproducibilidad y eficiencia en ciencia de datos.
Capítulo 01
La noticia en una frase
Apple lanza DCLM-Baseline-7B, modelo abierto entrenado con curación masiva de datos limpios que supera a Llama 3 en benchmarks académicos como MMLU.
El proyecto establece un banco de pruebas estandarizado para evaluar estrategias de curación, filtrado y deduplicación de datos en modelos de lenguaje a escala.
Capítulo 02
