ÁLVAROMAUREIRA

turboderp Presenta ExLlamaV2: Motor de Inferencia Ultrarrápido para LLMs con Cuantización Híbrida EXL2

Publicado ·

El desarrollador turboderp ha liberado una importante actualización de ExLlamaV2, el motor de inferencia de modelos de lenguaje en C++/CUDA diseñado específicamente para exprimir al máximo el rendimiento de las tarjetas gráficas NVIDIA de consumo y centros de datos mediante el innovador formato de cuantización EXL2.

Cuantización Fraccional y Mixta con Formato EXL2

Mientras que los formatos clásicos de cuantización entera como GPTQ o AWQ imponen anchos de bit fijos (como exactamente 4 bits u 8 bits por peso), el formato EXL2 introduce precisiones fraccionales variables (por ejemplo, 3.2, 4.5 o 6.0 bits por peso promedio) asignando mayor resolución a las capas neuronales críticas:

  • Asignación Heterogénea de Bits: Modula la precisión capa por capa y matriz por matriz, garantizando que capas fundamentales de atención retengan alta precisión mientras capas redundantes de proyección se comprimen drásticamente.
  • Kernels CUDA de Extrema Optimización

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. NVIDIA Presenta Model Optimizer: Biblioteca Integral de Cuantización y Poda de Alto Rendimiento para LLMsNVIDIA presenta Model Optimizer (ModelOpt), su biblioteca de compresión y cuantización FP4, INT4 y AWQ para acelerar inferencia en arquitecturas TensorRT.Leer análisis completo
  2. NVIDIA Presenta NVLM 1.0: Familia Abierta Multimodal de 72B que Iguala a GPT-4o Preservando Rendimiento TextualNVIDIA lanza NVLM 1.0, modelos multimodales abiertos de 72B con arquitectura híbrida que logran paridad con GPT-4o en visión y mejoran en tareas de texto.Leer análisis completo
  3. Google lleva búsqueda con Gemini a entornos aislados y habilita NVIDIA HGX B300 en GDCGoogle Cloud amplía Google Distributed Cloud con búsqueda Gemini air-gapped: diferencias entre vistas previas técnicas y disponibilidad general de silicio.Leer análisis completo
  4. NVIDIA Presenta Llama-3.1-Nemotron-70B: Modelo de Recompensas de Alta Precisión para Alineamiento de LLMsNVIDIA lanza Llama-3.1-Nemotron-70B-Reward, modelo de recompensas de alta precisión optimizado con HelpSteer2 para alinear modelos de lenguaje de frontera.Leer análisis completo
  5. Physical AI Growth Lab convoca startupsUna nueva convocatoria prepara apoyo para startups de robótica e IA.Leer análisis completo
  6. NVIDIA Presenta Nemotron-Mini-4B-Instruct: Modelo Compacto Optimizado con Destilación y Cuantización para Inferencia On-DeviceNVIDIA lanza Nemotron-Mini-4B-Instruct, SLM optimizado para PCs con IA y entornos edge con alta precisión en llamadas a funciones y razonamiento estructurado.Leer análisis completo
  7. PygmalionAI Presenta Aphrodite Engine: Motor de Inferencia de Alto Rendimiento con PagedAttention y Batching ContinuoPygmalionAI presenta Aphrodite Engine, motor de inferencia de alto rendimiento con PagedAttention v2, batching continuo y soporte multi-cuantización.Leer análisis completo
  8. InternLM Presenta LMDeploy: Motor de Inferencia y Compresión Multimodal con Kernels TurboMind y Cuantización AWQInternLM presenta LMDeploy, motor de inferencia y compresión multimodal acelerado por kernels TurboMind en C++ y cuantización AWQ para LLMs y VLMs.Leer análisis completo
  9. Kyutai Labs Presenta Helium 1: Modelo Abierto Ultracompacto de 2B Diseñado para Inferencia Local de Alta VelocidadKyutai Labs libera Helium 1, un modelo de lenguaje de 2.000 millones de parámetros con optimización de vocabulario para inferencia ultrarrápida on-device.Leer análisis completo
  10. Meta lanza Llama 3.3 70B Instruct: rendimiento comparable a modelos de 405B con costes de cómputo y memoria drásticamente reducidosMeta presentó Llama 3.3 70B Instruct, logrando métricas de frontera cercanas a Llama 3.1 405B pero operable en una única GPU de 80 GB.Leer análisis completo
  11. MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
  12. PanQiWei Presenta AutoGPTQ: Biblioteca de Cuantización Post-Entrenamiento a 4-Bit Acelerada por Kernels Triton y MarlinAutoGPTQ lidera la compresión de modelos de lenguaje a 4 bits mediante el algoritmo GPTQ, acelerando la inferencia en GPUs con kernels Marlin y Triton.Leer análisis completo
  13. SenseTime Libera LightLLM: Motor de Inferencia Liviano de Alto Rendimiento con Co-Diseño de Algoritmos y SistemasSenseTime presenta LightLLM, motor de inferencia liviano que maximiza la ocupación de memoria en GPUs y cuadruplica el throughput mediante gestión por token.Leer análisis completo
  14. Tsinghua University Presenta KTransformers: Inferencia Híbrida CPU-GPU con Kernels AMX para Modelos MoE LocalesTsinghua University presenta KTransformers, motor que ejecuta modelos MoE masivos en hardware de consumo combinando GPU y CPU con extensiones AVX-512 y AMX.Leer análisis completo
  15. University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
  16. Zyphra Presenta Zamba2: Arquitectura Híbrida Mamba2-Transformer con Atención Compartida para Inferencia UltrarrápidaZyphra presenta Zamba2, modelos híbridos Mamba2-Transformer con atención compartida para inferencia ultrarrápida y mínimo consumo de memoria VRAM.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados