ÁLVAROMAUREIRA

EleutherAI Actualiza LM Evaluation Harness: El Estándar Abierto de Evaluación y Benchmarking para LLMs

Publicado ·

EleutherAI ha lanzado una actualización mayor de Language Model Evaluation Harness (lm-evaluation-harness), consolidando el framework de código abierto más utilizado por la industria y la comunidad académica para la evaluación rigurosa, estandarizada y reproducible de modelos de lenguaje autorregresivos.

El Estándar Global de Benchmarking para LLMs

Con el vertiginoso ritmo de lanzamiento de nuevos modelos abiertos y propietarios, la reproducibilidad de los resultados de referencia se ha convertido en una necesidad crítica. LM Evaluation Harness proporciona un entorno unificado que cubre más de 60 tareas y suites de evaluación fundamentales:

  • Razonamiento y Lógica Formal: Evaluaciones extensas en ARC (Challenge & Easy), GSM8K, MATH, HellaSwag y Winogrande con métricas estandarizadas de coincidencia exacta y log-verosimilitud.
  • Conocimiento Multidisciplinar y MMLU: Implementaciones canónicas de MMLU (Massive Multitask Language Underst

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. Langfuse Presenta Plataforma Abierta de Observabilidad, Trazas de Ejecución y Métricas para LLMsLangfuse consolida la plataforma abierta de observabilidad para LLMs con trazas distribuidas, auditoría granular de costos por token y métricas de latencia.Leer análisis completo
  2. Meta Presenta Llama Guard 3 8B: Modelo Abierto de Moderación Multilingüe y Evaluación de Riesgos para LLMsMeta libera Llama Guard 3 8B, clasificador abierto de seguridad optimizado para detectar riesgos y ataques adversariales en 8 idiomas para flujos de producción.Leer análisis completo
  3. KAIST y LG Presentan Prometheus 2: Modelo Abierto Especializado en Evaluación y LLM-as-a-JudgeKAIST y LG AI Research presentan Prometheus 2, modelo abierto especializado en evaluar LLMs con rúbricas transparentes y paridad frente a GPT-4-as-a-Judge.Leer análisis completo
  4. Reflection Beam: cómo evaluar anuncios y modelos en evaluación antes de su liberación oficialReflection anuncia Beam en evaluación técnica previa a pesos abiertos: cómo preparar bancos de prueba y verificar señales reales antes de adoptar el modelo.Leer análisis completo
  5. Alibaba Presenta Qwen2.5-Math: Modelos Abiertos de Razonamiento Matemático con CoT Sintético Aumentado por CódigoAlibaba publica Qwen2.5-Math en versiones de 1.5B a 72B, superando a modelos propietarios en benchmarks matemáticos mediante razonamiento CoT y Python.Leer análisis completo
  6. Axolotl Presenta su Framework Unificado de Ajuste Fino y Post-Entrenamiento para Modelos AbiertosAxolotl libera su framework de post-entrenamiento que estandariza ajuste fino de LLMs con YAML, empaquetado de secuencias y aceleración FSDP y DeepSpeed.Leer análisis completo
  7. Shanghai AI Lab Presenta InternLM2-Math-20B: Modelo Abierto Especializado en Razonamiento Matemático FormalShanghai AI Lab lanza InternLM2-Math-20B, modelo abierto de 20B para razonamiento matemático formal mediante cadenas de pensamiento y código integrado.Leer análisis completo
  8. Microsoft Presenta Florence-2: Modelo Unificado de Visión y Lenguaje para Tareas Espaciales y SegmentaciónMicrosoft Research lanza Florence-2, un modelo fundacional de visión que unifica subtitulado, detección de objetos y segmentación espacial detallada.Leer análisis completo
  9. Anthropic y Accenture anuncian evaluación independiente de modelos de IAAnthropic y Accenture anuncian una evaluación independiente de modelos de IA liderada por Faculty; el alcance y los estándares siguen en desarrollo.Leer análisis completo
  10. JXNL Presenta Instructor: Biblioteca Estándar para Extracción Estructurada y Validación con Tipos Pydantic en LLMsJXNL presenta Instructor, biblioteca estándar para extracción de datos estructurados y validación estricta con Pydantic v2 en modelos de lenguaje.Leer análisis completo
  11. Together AI Presenta RedPajama-INCITE 7B: Modelo Abierto de Base e Instrucción para Investigación ReproducibleTogether AI lanza RedPajama-INCITE 7B, suite de modelos abiertos con dataset completo de 1T tokens y licencias Apache 2.0 para investigación reproducible.Leer análisis completo
  12. Scale AI Lanza SEAL: Evaluación Continua y Benchmarks Privados para Modelos de FronteraScale AI lanza SEAL, marco de evaluación experta continua con benchmarks privados y dinámicos para evitar la contaminación de modelos de frontera.Leer análisis completo
  13. NVIDIA Presenta Model Optimizer: Biblioteca Integral de Cuantización y Poda de Alto Rendimiento para LLMsNVIDIA presenta Model Optimizer (ModelOpt), su biblioteca de compresión y cuantización FP4, INT4 y AWQ para acelerar inferencia en arquitecturas TensorRT.Leer análisis completo
  14. Letta Presenta Entorno de Ejecución para Agentes de IA con Memoria Jerárquica Persistente a Largo PlazoLetta presenta un entorno de ejecución de agentes de IA con memoria jerárquica inspirada en SO para conservar contexto e identidad en sesiones continuas.Leer análisis completo
  15. La edición del conocimiento en modelos de lenguaje debe respetar sus conexionesUn estudio analiza cómo la edición puntual de hechos en modelos de lenguaje altera dependencias lógicas y propone evaluar la coherencia causal.Leer análisis completo
  16. Nexusflow Presenta Starling-LM 7B: Modelo Abierto Optimizado con RLAIF que Lidera Benchmarks ConversacionalesNexusflow y UC Berkeley liberan Starling-LM 7B, modelo alineado con RLAIF y dataset Nectar que alcanza la cima en Chatbot Arena entre modelos de 7B.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados