ÁLVAROMAUREIRA

Tsinghua University Presenta KTransformers: Inferencia Híbrida CPU-GPU con Kernels AMX para Modelos MoE Locales

Publicado ·

Investigadores de la Universidad de Tsinghua han presentado KTransformers, un revolucionario sistema de inferencia híbrida CPU-GPU diseñado para ejecutar modelos de lenguaje masivos con arquitectura Mixture-of-Experts (MoE), como DeepSeek-V2 y DeepSeek-V3, en hardware de consumo y estaciones de trabajo accesibles.

Desbloqueando Modelos MoE de Cientos de Miles de Millones de Parámetros

Los modelos MoE modernos alcanzan un rendimiento extraordinario al activar solo un subconjunto de expertos por cada token generado (por ejemplo, 21B activos de 236B totales en DeepSeek-V2). Sin embargo, alojar la totalidad de los parámetros en VRAM de GPU requería clusters de nivel centro de datos. KTransformers resuelve esta limitación mediante una arquitectura híbrida heterogénea:

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. DeepSeek Lanza DeepSeek-Coder-V2: Arquitectura MoE de 236B para Programación Avanzada en 338 Lenguajes con Ventana de 128kDeepSeek presenta Coder-V2 (236B MoE con 21B activos), modelo abierto que rivaliza con GPT-4 Turbo en matemáticas y código en 338 lenguajes.Leer análisis completo
  2. DeepSeek Presenta DeepSeek-V2-Lite: Modelo MoE Abierto de 16B con Multi-Head Latent Attention para Inferencia EconómicaDeepSeek libera DeepSeek-V2-Lite, arquitectura MoE de 16B con 2.4B activos que introduce Multi-Head Latent Attention para reducir drásticamente el KV Cache.Leer análisis completo
  3. DeepSeek Presenta DeepSeek-V3: Arquitectura MoE de 671B con Multi-Head Latent Attention y FP8 MixtoDeepSeek lanza DeepSeek-V3, modelo MoE de 671B con 37B activos por token, Multi-Head Latent Attention y entrenamiento en FP8 con costo ultraeficiente.Leer análisis completo
  4. PygmalionAI Presenta Aphrodite Engine: Motor de Inferencia de Alto Rendimiento con PagedAttention y Batching ContinuoPygmalionAI presenta Aphrodite Engine, motor de inferencia de alto rendimiento con PagedAttention v2, batching continuo y soporte multi-cuantización.Leer análisis completo
  5. Hexgrad Presenta Kokoro-82M: Modelo de Síntesis de Voz de 82 Millones de Parámetros con Rendimiento Superior a Tiempo RealHexgrad libera Kokoro-82M, modelo ligero de síntesis de voz de 82M que alcanza calidad de frontera ejecutándose a gran velocidad en CPUs de consumo sin GPU.Leer análisis completo
  6. InternLM Presenta LMDeploy: Motor de Inferencia y Compresión Multimodal con Kernels TurboMind y Cuantización AWQInternLM presenta LMDeploy, motor de inferencia y compresión multimodal acelerado por kernels TurboMind en C++ y cuantización AWQ para LLMs y VLMs.Leer análisis completo
  7. Microsoft Presenta DeepSpeed-MII: Servicio de Inferencia de Baja Latencia y Coste Mínimo para Modelos MasivosMicrosoft presenta DeepSpeed-MII, acelerando hasta 4.3x la inferencia de LLMs y reduciendo hasta 40x el coste por token mediante kernels ZeRO optimizados.Leer análisis completo
  8. MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
  9. Mixture-of-Kittens: Cursor abre un megakernel para entrenar modelos de expertos en sistemas NVL72Cursor libera Mixture-of-Kittens, un megakernel de código abierto para acelerar el entrenamiento de modelos MoE en sistemas NVIDIA Blackwell NVL72.Leer análisis completo
  10. PanQiWei Presenta AutoGPTQ: Biblioteca de Cuantización Post-Entrenamiento a 4-Bit Acelerada por Kernels Triton y MarlinAutoGPTQ lidera la compresión de modelos de lenguaje a 4 bits mediante el algoritmo GPTQ, acelerando la inferencia en GPUs con kernels Marlin y Triton.Leer análisis completo
  11. Tencent Presenta Hunyuan-Large: Modelo Abierto de Mezcla de Expertos de 389B con 52B Activos y Contexto de 256KTencent presenta Hunyuan-Large, modelo abierto MoE de 389B parámetros con 52B activos, ventana de 256K tokens y preentrenamiento con datos sintéticos filtrados.Leer análisis completo
  12. turboderp Presenta ExLlamaV2: Motor de Inferencia Ultrarrápido para LLMs con Cuantización Híbrida EXL2turboderp libera ExLlamaV2, motor C++/CUDA que acelera la inferencia de LLMs en GPUs NVIDIA mediante el formato de cuantización de bits mixtos EXL2.Leer análisis completo
  13. University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
  14. University of Washington y Duke Presentan Punica: Servicio Multi-Inquilino de LoRA con SGMV en GPUsUW y Duke presentan Punica, sistema de inferencia que permite servir decenas de modelos LoRA sobre un modelo base compartido en una sola GPU con kernels SGMV.Leer análisis completo
  15. Unsloth AI Presenta Optimización de Ajuste Fino para LLMs: 2x Más Rápido y 70% Menos VRAM con Kernels TritonUnsloth AI presenta optimizaciones que duplican la velocidad y reducen la VRAM un 70% en ajuste fino de LLMs mediante kernels Triton escritos a mano.Leer análisis completo
  16. Zyphra Presenta Zamba2: Arquitectura Híbrida Mamba2-Transformer con Atención Compartida para Inferencia UltrarrápidaZyphra presenta Zamba2, modelos híbridos Mamba2-Transformer con atención compartida para inferencia ultrarrápida y mínimo consumo de memoria VRAM.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados