ÁLVAROMAUREIRA

NVIDIA Presenta Model Optimizer: Biblioteca Integral de Cuantización y Poda de Alto Rendimiento para LLMs

Publicado ·

NVIDIA ha presentado oficialmente TensorRT Model Optimizer (ModelOpt), su biblioteca unificada y de código abierto para la compresión, cuantización y optimización avanzada de modelos de lenguaje e inteligencia artificial generativa, diseñada para maximizar el rendimiento computacional en arquitecturas GPU desde Hopper y Ada Lovelace hasta la nueva generación Blackwell.

Compresión Multimodal y Cuantización Sub-Byte

A medida que los modelos fundacionales superan los cientos de miles de millones de parámetros, los cuellos de botella de ancho de banda de memoria de GPU (HBM) y latencia de decodificación se convierten en el principal obstáculo para el despliegue a escala. ModelOpt aborda este desafío ofreciendo un conjunto exhaustivo de técnicas de cuantización post-entrenamiento (PTQ) y entrenamiento consciente de la cuantización (QAT):

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. NVIDIA Presenta Cosmos Tokenizer: Tokenizadores Visuales Abiertos de Alta Compresión para Imágenes y VideoNVIDIA libera Cosmos Tokenizer, suite abierta de tokenizadores visuales continuos y discretos que aceleran hasta 12x la compresión en modelos generativos.Leer análisis completo
  2. NVIDIA Presenta NVLM 1.0: Familia Abierta Multimodal de 72B que Iguala a GPT-4o Preservando Rendimiento TextualNVIDIA lanza NVLM 1.0, modelos multimodales abiertos de 72B con arquitectura híbrida que logran paridad con GPT-4o en visión y mejoran en tareas de texto.Leer análisis completo
  3. Google lleva búsqueda con Gemini a entornos aislados y habilita NVIDIA HGX B300 en GDCGoogle Cloud amplía Google Distributed Cloud con búsqueda Gemini air-gapped: diferencias entre vistas previas técnicas y disponibilidad general de silicio.Leer análisis completo
  4. NVIDIA Presenta Megatron-Core: Biblioteca Optimizada de GPU para Entrenamiento y Escalado Masivo de LLMsNVIDIA libera Megatron-Core, suite modular para estandarizar paralelismo tensorial y de pipeline en LLMs, logrando más del 55% de MFU en clusters GPU.Leer análisis completo
  5. Physical AI Growth Lab convoca startupsUna nueva convocatoria prepara apoyo para startups de robótica e IA.Leer análisis completo
  6. NVIDIA Presenta TensorRT-LLM: Compilación y Aceleración de Inferencia de LLMs con FP8 en GPUs Tensor CoreNVIDIA libera TensorRT-LLM, biblioteca abierta para optimizar y compilar inferencia de LLMs con in-flight batching y cuantización FP8 en GPUs Tensor Core.Leer análisis completo
  7. Amazon presenta Nova: nueva familia de modelos fundacionales Micro, Lite, Pro y Reel integrados en AWS Bedrock con latencia ultrabaja y costos reducidosAWS lanza la familia Amazon Nova: cuatro modelos fundacionales multimodales de texto, razonamiento y generación de video de alta velocidad a bajo costo.Leer análisis completo
  8. PygmalionAI Presenta Aphrodite Engine: Motor de Inferencia de Alto Rendimiento con PagedAttention y Batching ContinuoPygmalionAI presenta Aphrodite Engine, motor de inferencia de alto rendimiento con PagedAttention v2, batching continuo y soporte multi-cuantización.Leer análisis completo
  9. Axolotl Presenta su Framework Unificado de Ajuste Fino y Post-Entrenamiento para Modelos AbiertosAxolotl libera su framework de post-entrenamiento que estandariza ajuste fino de LLMs con YAML, empaquetado de secuencias y aceleración FSDP y DeepSpeed.Leer análisis completo
  10. DeepSeek presenta DeepSeek-V3: modelo MoE de 671B parámetros con Multi-Head Latent Attention y costo de entrenamiento de 6 millones de dólaresDeepSeek lanza DeepSeek-V3 (671B MoE), superando a modelos abiertos líderes con arquitectura MLA y un costo de entrenamiento récord de solo $6M.Leer análisis completo
  11. Hexgrad Presenta Kokoro-82M: Modelo de Síntesis de Voz de 82 Millones de Parámetros con Rendimiento Superior a Tiempo RealHexgrad libera Kokoro-82M, modelo ligero de síntesis de voz de 82M que alcanza calidad de frontera ejecutándose a gran velocidad en CPUs de consumo sin GPU.Leer análisis completo
  12. InternLM Presenta LMDeploy: Motor de Inferencia y Compresión Multimodal con Kernels TurboMind y Cuantización AWQInternLM presenta LMDeploy, motor de inferencia y compresión multimodal acelerado por kernels TurboMind en C++ y cuantización AWQ para LLMs y VLMs.Leer análisis completo
  13. Langfuse Presenta Plataforma Abierta de Observabilidad, Trazas de Ejecución y Métricas para LLMsLangfuse consolida la plataforma abierta de observabilidad para LLMs con trazas distribuidas, auditoría granular de costos por token y métricas de latencia.Leer análisis completo
  14. LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
  15. Meta FAIR Presenta Lingua: Framework Abierto para Investigación y Entrenamiento Rápido de LLMsMeta FAIR libera Lingua, framework de código abierto optimizado para acelerar la investigación, evaluación y preentrenamiento de LLMs con PyTorch nativo.Leer análisis completo
  16. MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados