El Allen Institute for AI (AI2) presentó la suite de modelos Tulu 2 y Tulu 2 DPO en escalas de 7B, 13B y 70B parámetros, estableciendo el primer punto de referencia completamente abierto y transparente para la optimización directa de preferencias (DPO) sin requerir modelos de recompensa complejos ni PPO.
La noticia en una frase
Allen AI liberó Tulu 2 DPO, demostrando que la alineación directa de preferencias sobre datos abiertos permite a modelos de 70B superar a alternativas comerciales en razonamiento y seguimiento de instrucciones.
