ÁLVAROMAUREIRA

InternLM Presenta LMDeploy: Motor de Inferencia y Compresión Multimodal con Kernels TurboMind y Cuantización AWQ

Publicado ·

El equipo de investigación de InternLM ha consolidado LMDeploy como un ecosistema integral de inferencia, servicio y compresión de modelos de lenguaje y visión (VLMs) de alta eficiencia, diseñado para maximizar el rendimiento computacional tanto en centros de datos como en estaciones de trabajo mediante su motor TurboMind en C++.

Motor TurboMind y Cuantización W4A16 de Última Generación

Frente a las limitaciones de latencia y uso de memoria en transformadores de gran tamaño, LMDeploy implementa innovaciones críticas a nivel de kernel y gestión de tensores:

  • Aceleración Extrema con TurboMind: Un motor de inferencia nativo implementado en C++ y CUDA que ofrece ejecución de atención de bajo nivel, superando ampliamente a los frameworks tradicionales en velocidad de decodificación y concurrencia.
  • Cuantización AWQ y W4A16: Soporte avanzad

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. 01.AI Presenta Yi-Lightning: Modelo de Frontera de Alta Velocidad y Bajo Coste que Empata con GPT-4o en LMSYS01.AI lanza Yi-Lightning, modelo que alcanza el puesto #6 global en LMSYS Arena empatando con GPT-4o a un coste hasta 90% menor.Leer análisis completo
  2. PygmalionAI Presenta Aphrodite Engine: Motor de Inferencia de Alto Rendimiento con PagedAttention y Batching ContinuoPygmalionAI presenta Aphrodite Engine, motor de inferencia de alto rendimiento con PagedAttention v2, batching continuo y soporte multi-cuantización.Leer análisis completo
  3. Baichuan Presenta Baichuan 2: Modelos Abiertos de 7B y 13B Preentrenados con 2,6 Billones de Tokens y Alta EficienciaBaichuan libera Baichuan 2 en 7B y 13B parámetros, preentrenado con 2,6 billones de tokens con paridad frente a LLaMA 2 en razonamiento y código bilingüe.Leer análisis completo
  4. Databricks Presenta DBRX: Modelo de Lenguaje MoE de Código Abierto con 132B Parámetros y Eficiencia de InferenciaDatabricks lanza DBRX, modelo MoE abierto de 132B (36B activos) que supera a Llama 2 70B y Mixtral en programación, matemáticas y razonamiento con menor costo.Leer análisis completo
  5. Hexgrad Presenta Kokoro-82M: Modelo de Síntesis de Voz de 82 Millones de Parámetros con Rendimiento Superior a Tiempo RealHexgrad libera Kokoro-82M, modelo ligero de síntesis de voz de 82M que alcanza calidad de frontera ejecutándose a gran velocidad en CPUs de consumo sin GPU.Leer análisis completo
  6. Kyutai Labs Presenta Helium 1: Modelo Abierto Ultracompacto de 2B Diseñado para Inferencia Local de Alta VelocidadKyutai Labs libera Helium 1, un modelo de lenguaje de 2.000 millones de parámetros con optimización de vocabulario para inferencia ultrarrápida on-device.Leer análisis completo
  7. Letta Presenta Entorno de Ejecución para Agentes de IA con Memoria Jerárquica Persistente a Largo PlazoLetta presenta un entorno de ejecución de agentes de IA con memoria jerárquica inspirada en SO para conservar contexto e identidad en sesiones continuas.Leer análisis completo
  8. LG AI Research Presenta EXAONE 3.0: Modelos Fundacionales Abiertos Bilingües de 7.8B con Alta Eficiencia de InferenciaLG AI Research libera EXAONE 3.0 7.8B, modelo abierto bilingüe inglés-coreano optimizado con reducción de parámetros del 68% y alto rendimiento en código.Leer análisis completo
  9. Microsoft Presenta DeepSpeed-FastGen: Inferencia de Alto Rendimiento con Dynamic SplitFuseMicrosoft presenta DeepSpeed-FastGen con Dynamic SplitFuse, técnica que unifica la ingestión y generación de tokens para disparar el throughput en GPUs.Leer análisis completo
  10. Mistral AI Presenta Ministral 3B y 8B: Modelos de Borde de Alta Eficiencia para Dispositivos LocalesMistral AI presenta Ministral 3B y 8B, modelos ultraligeros para inferencia local en dispositivos con ventana de 128k y latencia ultrabaja en el borde.Leer análisis completo
  11. MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
  12. NVIDIA Presenta Model Optimizer: Biblioteca Integral de Cuantización y Poda de Alto Rendimiento para LLMsNVIDIA presenta Model Optimizer (ModelOpt), su biblioteca de compresión y cuantización FP4, INT4 y AWQ para acelerar inferencia en arquitecturas TensorRT.Leer análisis completo
  13. PanQiWei Presenta AutoGPTQ: Biblioteca de Cuantización Post-Entrenamiento a 4-Bit Acelerada por Kernels Triton y MarlinAutoGPTQ lidera la compresión de modelos de lenguaje a 4 bits mediante el algoritmo GPTQ, acelerando la inferencia en GPUs con kernels Marlin y Triton.Leer análisis completo
  14. SenseTime Libera LightLLM: Motor de Inferencia Liviano de Alto Rendimiento con Co-Diseño de Algoritmos y SistemasSenseTime presenta LightLLM, motor de inferencia liviano que maximiza la ocupación de memoria en GPUs y cuadruplica el throughput mediante gestión por token.Leer análisis completo
  15. Shanghai AI Lab Presenta InternLM-XComposer 2.5: Modelo Multimodal Abierto para Comprensión Visual y Composición de ArtículosShanghai AI Lab presenta InternLM-XComposer 2.5, modelo multimodal de 7B capaz de generar artículos extensos ilustrados y comprender video y alta resolución.Leer análisis completo
  16. Tsinghua University Presenta KTransformers: Inferencia Híbrida CPU-GPU con Kernels AMX para Modelos MoE LocalesTsinghua University presenta KTransformers, motor que ejecuta modelos MoE masivos en hardware de consumo combinando GPU y CPU con extensiones AVX-512 y AMX.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados