ÁLVAROMAUREIRA

PanQiWei Presenta AutoGPTQ: Biblioteca de Cuantización Post-Entrenamiento a 4-Bit Acelerada por Kernels Triton y Marlin

Publicado ·

PanQiWei y la comunidad de código abierto han consolidado AutoGPTQ como la biblioteca líder para la cuantización post-entrenamiento de modelos de lenguaje grandes (LLMs) a precisión entera de 4 bits (INT4), permitiendo desplegar arquitecturas masivas de decenas de miles de millones de parámetros en GPUs de consumo comercial.

Compresión INT4 sin Pérdida de Fidelidad Algorítmica

Basado en los fundamentos teóricos del algoritmo GPTQ desarrollado por investigadores del IST Austria, AutoGPTQ optimiza los pesos de cada capa del transformador minimizando el error cuadrático medio mediante aproximaciones hessianas de segundo orden:

  • Reducción Drástica de Memoria VRAM: Al comprimir los parámetros de 16 bits (FP16 o BF16) a solo 4 bits, la huella de memoria se reduce en un 75%, permitiendo ejecutar modelos de 70B parámetros en hardware con tan solo dos GPUs convencionales de 24 GB.
  • Aceleración de Infe

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. Allen AI Presenta OLMo 7B: Modelo Abierto con Acceso Total a Datos Dolma, Código de Entrenamiento y PesosAllen AI lanza OLMo 7B, modelo fundacional abierto con acceso libre al corpus Dolma de 3 billones de tokens, código y pesos sin restricciones.Leer análisis completo
  2. Axolotl Presenta su Framework Unificado de Ajuste Fino y Post-Entrenamiento para Modelos AbiertosAxolotl libera su framework de post-entrenamiento que estandariza ajuste fino de LLMs con YAML, empaquetado de secuencias y aceleración FSDP y DeepSpeed.Leer análisis completo
  3. DeepSeek presenta DeepSeek-V3: modelo MoE de 671B parámetros con Multi-Head Latent Attention y costo de entrenamiento de 6 millones de dólaresDeepSeek lanza DeepSeek-V3 (671B MoE), superando a modelos abiertos líderes con arquitectura MLA y un costo de entrenamiento récord de solo $6M.Leer análisis completo
  4. F5-TTS Presenta Síntesis de Voz Zero-Shot No Autorregresiva Basada en Flow Matching de Alta FidelidadF5-TTS revoluciona la síntesis de voz mediante Flow Matching no autorregresivo, eliminando alineaciones complejas y logrando clonación ultrarrápida y natural.Leer análisis completo
  5. InternLM Presenta LMDeploy: Motor de Inferencia y Compresión Multimodal con Kernels TurboMind y Cuantización AWQInternLM presenta LMDeploy, motor de inferencia y compresión multimodal acelerado por kernels TurboMind en C++ y cuantización AWQ para LLMs y VLMs.Leer análisis completo
  6. Meta FAIR Presenta Lingua: Framework Abierto para Investigación y Entrenamiento Rápido de LLMsMeta FAIR libera Lingua, framework de código abierto optimizado para acelerar la investigación, evaluación y preentrenamiento de LLMs con PyTorch nativo.Leer análisis completo
  7. Microsoft Research Libera BitBLAS: Biblioteca de Operaciones Matriciales para Cuantización Sub-Byte en GPUsMicrosoft Research presenta BitBLAS, biblioteca BLAS de alto rendimiento para acelerar hasta 8x la inferencia de modelos cuantizados a precisión sub-byte.Leer análisis completo
  8. MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
  9. NVIDIA Presenta Megatron-Core: Biblioteca Optimizada de GPU para Entrenamiento y Escalado Masivo de LLMsNVIDIA libera Megatron-Core, suite modular para estandarizar paralelismo tensorial y de pipeline en LLMs, logrando más del 55% de MFU en clusters GPU.Leer análisis completo
  10. Stanford FutureData Presenta ColBERTv2: Recuperación Densa por Tokens con Compresión Residual y Huella 10x MenorStanford FutureData presenta ColBERTv2, arquitectura de interacción tardía con compresión residual que reduce el índice 10x manteniendo alta precisión en RAG.Leer análisis completo
  11. TII Presenta Falcon 180B: Modelo Fundacional Abierto de 180.000 Millones de Parámetros Entrenado en SupercómputoTII presenta Falcon 180B, modelo fundacional abierto de 180.000 millones de parámetros entrenado sobre 3,5 billones de tokens de RefinedWeb en supercómputo.Leer análisis completo
  12. TII Presenta Falcon Mamba: El Primer Modelo de Lenguaje Abierto Basado en la Arquitectura SSM a Escala de 7BTII lanza Falcon Mamba 7B, primer modelo abierto puro basado en Mamba con memoria constante y rendimiento superior a Transformers como Llama 3 en benchmarks.Leer análisis completo
  13. University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
  14. Unsloth AI Presenta Optimización de Ajuste Fino para LLMs: 2x Más Rápido y 70% Menos VRAM con Kernels TritonUnsloth AI presenta optimizaciones que duplican la velocidad y reducen la VRAM un 70% en ajuste fino de LLMs mediante kernels Triton escritos a mano.Leer análisis completo
  15. Upstage Presenta Solar Pro: Modelo Abierto de 22B que Compite con Modelos de 70B en una Sola GPUUpstage lanza Solar Pro Preview, modelo de lenguaje abierto de 22B parámetros optimizado mediante Depth Up-Scaling para inferencia avanzada en una sola GPU.Leer análisis completo
  16. Apple Libera CoreNet: Biblioteca de Código Abierto para Entrenamiento y Optimización de Modelos de IA a Gran EscalaApple presenta CoreNet, framework abierto para entrenar redes profundas y modelos multimodales a gran escala con soporte unificado para CUDA y Apple Silicon.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados