NVIDIA presentó formalmente Nemotron-4 340B, una poderosa familia de modelos de lenguaje de pesos abiertos compuesta por tres variantes interconectadas —Base, Instruct y Reward— específicamente diseñadas para resolver el inminente agotamiento de datos de entrenamiento humanos de alta calidad mediante la generación masiva y curación automática de datos sintéticos. Con 340.000 millones de parámetros y entrenado sobre nueve billones de tokens con una ventana de contexto de 4.096 tokens, Nemotron-4 340B permite a corporaciones y desarrolladores sintetizar diálogos, código y escenarios de razonamiento de nivel doctoral, utilizando el modelo Reward para filtrar de forma estricta la veracidad, relevancia y seguridad antes de alimentar tuberías de preentrenamiento.
Capítulo 01
La noticia en una frase
NVIDIA presenta Nemotron-4 340B (Base, Instruct y Reward), una familia de modelos de pesos abiertos bajo licencia comercial diseñada para generar y filtrar datos sintéticos a escala petabyte.
En evaluaciones del modelo Nemotron-4-340B-Reward sobre el benchmark RewardBench de Hugging Face, el sistema alcanzó el primer puesto absoluto en precisión de evaluación de preferencias, superando a todos los modelos de recompensa comerciales y de código abierto existentes.
Capítulo 02
