ÁLVAROMAUREIRA

PygmalionAI Presenta Aphrodite Engine: Motor de Inferencia de Alto Rendimiento con PagedAttention y Batching Continuo

Publicado ·

PygmalionAI ha liberado Aphrodite Engine, un motor de servicio e inferencia distribuida de alto rendimiento diseñado específicamente para maximizar el throughput de generación de texto y el manejo de múltiples usuarios concurrentes en despliegues a gran escala de modelos de lenguaje abiertos.

PagedAttention v2 y Gestión de Memoria Dinámica

Aphrodite Engine integra una implementación avanzada de PagedAttention v2 que divide la memoria de claves y valores (KV cache) en bloques virtuales paginados, erradicando los cuellos de botella habituales de la inferencia concurrente:

  • Cero Fragmentación de Memoria: El sistema asigna memoria física de manera dinámica según la longitud real de cada diálogo, logrando un aprovechamiento del 96% de la VRAM y multiplicando la capacidad de peticiones simultáneas por nodo.
  • Batching Continuo y Planificación Inteligente: El planificador agrupa peticiones e

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. Allen AI Presenta Molmo: Familia de Modelos Multimodales Abiertos de Visión y Lenguaje con Capacidad de Apuntado y LocalizaciónAllen AI lanza Molmo (7B y 72B), modelos abiertos de visión y lenguaje que superan a GPT-4V en apuntado de píxeles y comprensión visual de UI.Leer análisis completo
  2. Google DeepMind revela Genie 2: modelo fundacional de mundos virtuales 3D interactivos generados en tiempo real a partir de texto o imágenesDeepMind revela Genie 2, un modelo fundacional capaz de generar entornos virtuales interactivos en 3D con física consistente y control en tiempo real.Leer análisis completo
  3. Hexgrad Presenta Kokoro-82M: Modelo de Síntesis de Voz de 82 Millones de Parámetros con Rendimiento Superior a Tiempo RealHexgrad libera Kokoro-82M, modelo ligero de síntesis de voz de 82M que alcanza calidad de frontera ejecutándose a gran velocidad en CPUs de consumo sin GPU.Leer análisis completo
  4. InternLM Presenta LMDeploy: Motor de Inferencia y Compresión Multimodal con Kernels TurboMind y Cuantización AWQInternLM presenta LMDeploy, motor de inferencia y compresión multimodal acelerado por kernels TurboMind en C++ y cuantización AWQ para LLMs y VLMs.Leer análisis completo
  5. Meta Presenta Code Llama 70B: Modelo Abierto de 70B Diseñado para Generación y Auditoría Avanzada de CódigoMeta lanza Code Llama 70B, modelo fundacional abierto entrenado en 1 billón de tokens de código con ventana de contexto de 100K tokens e infilling de código.Leer análisis completo
  6. Microsoft Presenta DeepSpeed-FastGen: Inferencia de Alto Rendimiento con Dynamic SplitFuseMicrosoft presenta DeepSpeed-FastGen con Dynamic SplitFuse, técnica que unifica la ingestión y generación de tokens para disparar el throughput en GPUs.Leer análisis completo
  7. NVIDIA Presenta Model Optimizer: Biblioteca Integral de Cuantización y Poda de Alto Rendimiento para LLMsNVIDIA presenta Model Optimizer (ModelOpt), su biblioteca de compresión y cuantización FP4, INT4 y AWQ para acelerar inferencia en arquitecturas TensorRT.Leer análisis completo
  8. SenseTime Libera LightLLM: Motor de Inferencia Liviano de Alto Rendimiento con Co-Diseño de Algoritmos y SistemasSenseTime presenta LightLLM, motor de inferencia liviano que maximiza la ocupación de memoria en GPUs y cuadruplica el throughput mediante gestión por token.Leer análisis completo
  9. vLLM presenta la arquitectura V1: rediseño integral del motor de inferencia con cero sobrecarga en Python y multiprocesamiento asíncronoEl consorcio vLLM liberó la arquitectura V1, reescribiendo el planificador de peticiones y logrando duplicar el throughput en inferencia de LLMs.Leer análisis completo
  10. Mistral AI Presenta Pixtral 12B: Modelo Multimodal de Visión con Soporte para Múltiples Imágenes y Resolución DinámicaMistral AI lanza Pixtral 12B, modelo multimodal de pesos abiertos con codificador de visión dinámico para analizar múltiples imágenes y documentos complejos.Leer análisis completo
  11. DeepSeek Presenta DeepSeek-V2.5: Modelo MoE de 236B que Unifica Razonamiento General y Programación AvanzadaDeepSeek lanza DeepSeek-V2.5 de 236B MoE (21B activos), unificando chat general y programación avanzada con arquitectura MLA y 128k de contexto.Leer análisis completo
  12. LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
  13. Kyutai Labs Presenta Helium 1: Modelo Abierto Ultracompacto de 2B Diseñado para Inferencia Local de Alta VelocidadKyutai Labs libera Helium 1, un modelo de lenguaje de 2.000 millones de parámetros con optimización de vocabulario para inferencia ultrarrápida on-device.Leer análisis completo
  14. Apple Libera CoreNet: Biblioteca de Código Abierto para Entrenamiento y Optimización de Modelos de IA a Gran EscalaApple presenta CoreNet, framework abierto para entrenar redes profundas y modelos multimodales a gran escala con soporte unificado para CUDA y Apple Silicon.Leer análisis completo
  15. Hugging Face Presenta SmolLM2: Familia de Modelos Abiertos de 135M a 1.7B para Inferencia On-Device y Agentes LocalesHugging Face publica SmolLM2 en tamaños de 135M, 360M y 1.7B parámetros, optimizados para razonamiento local, llamadas a herramientas y despliegue on-device.Leer análisis completo
  16. LG AI Research Presenta EXAONE 3.0: Modelos Fundacionales Abiertos Bilingües de 7.8B con Alta Eficiencia de InferenciaLG AI Research libera EXAONE 3.0 7.8B, modelo abierto bilingüe inglés-coreano optimizado con reducción de parámetros del 68% y alto rendimiento en código.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados