Investigadores de la University of Washington y SambaNova Systems presentaron FlashInfer, una biblioteca modular de kernels GPU de alto rendimiento diseñada específicamente para acelerar la atención y el servicio de modelos de lenguaje con soporte exhaustivo para atención paginada, v
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
Apple Libera CoreNet: Biblioteca de Código Abierto para Entrenamiento y Optimización de Modelos de IA a Gran EscalaApple presenta CoreNet, framework abierto para entrenar redes profundas y modelos multimodales a gran escala con soporte unificado para CUDA y Apple Silicon.Leer análisis completo
LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
Microsoft Presenta DeepSpeed-FastGen: Inferencia de Alto Rendimiento con Dynamic SplitFuseMicrosoft presenta DeepSpeed-FastGen con Dynamic SplitFuse, técnica que unifica la ingestión y generación de tokens para disparar el throughput en GPUs.Leer análisis completo
MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
SenseTime Libera LightLLM: Motor de Inferencia Liviano de Alto Rendimiento con Co-Diseño de Algoritmos y SistemasSenseTime presenta LightLLM, motor de inferencia liviano que maximiza la ocupación de memoria en GPUs y cuadruplica el throughput mediante gestión por token.Leer análisis completo
University of Washington y Duke Presentan Punica: Servicio Multi-Inquilino de LoRA con SGMV en GPUsUW y Duke presentan Punica, sistema de inferencia que permite servir decenas de modelos LoRA sobre un modelo base compartido en una sola GPU con kernels SGMV.Leer análisis completo
Together AI y Princeton Presentan Medusa: Muestreo Especulativo con Múltiples Cabezales para Acelerar LLMs hasta 3xTogether AI y Princeton presentan Medusa, marco de decodificación especulativa con múltiples cabezales que acelera la inferencia de LLMs hasta 3x sin borrador.Leer análisis completo
NVIDIA Presenta Megatron-Core: Biblioteca Optimizada de GPU para Entrenamiento y Escalado Masivo de LLMsNVIDIA libera Megatron-Core, suite modular para estandarizar paralelismo tensorial y de pipeline en LLMs, logrando más del 55% de MFU en clusters GPU.Leer análisis completo
Meta Presenta MobileLLM: Optimización de Modelos de Lenguaje Sub-1B para Inferencia Directa en Dispositivos MóvilesMeta introduce MobileLLM, modelos compactos de 125M y 350M diseñados con Deep Equilibrium y compartición de capas para ejecutar IA eficiente en smartphones.Leer análisis completo
Upstage Presenta Solar Pro: Modelo Abierto de 22B que Compite con Modelos de 70B en una Sola GPUUpstage lanza Solar Pro Preview, modelo de lenguaje abierto de 22B parámetros optimizado mediante Depth Up-Scaling para inferencia avanzada en una sola GPU.Leer análisis completo
IBM Presenta Granite Guardian: Modelos Abiertos Especializados en Detección de Riesgos, Sesgos y Seguridad para LLMsIBM lanza Granite Guardian, modelos abiertos especializados en detección de riesgos, sesgos, alucinaciones y seguridad para pipelines de LLMs empresariales.Leer análisis completo
Google DeepMind Presenta RecurrentGemma: Modelos Basados en Griffin que Combinan Redes Recurrentes y Atención LocalGoogle DeepMind presenta RecurrentGemma, modelos basados en Griffin que combinan redes recurrentes y atención local con memoria fija en inferencia.Leer análisis completo
Allen AI Presenta Tulu 2 DPO: Familia de Modelos Abiertos de Instrucción con Optimización de Preferencias DirectasAllen AI lanza Tulu 2 DPO, suite de modelos abiertos en 70B y 13B con alineación directa de preferencias y recetas transparentes que superan a Llama 2 Chat.Leer análisis completo
Together AI y Stanford Presentan Flash-Decoding: Aceleración de Generación de LLMs hasta 8x en Contextos LargosTogether AI y Stanford presentan Flash-Decoding, técnica que paraleliza la atención en secuencias largas acelerando la generación de LLMs hasta 8x en GPUs.Leer análisis completo
BAAI Presenta BGE Reranker v2: Reordenamiento Semántico Profundo por Atención Cruzada para RAGBAAI libera BGE Reranker v2, modelo de reordenamiento semántico basado en atención cruzada que maximiza la precisión de recuperación en sistemas RAG.Leer análisis completo
Stability AI Presenta StableLM 2 12B: Modelo Abierto Multilingüe Optimizado para Rendimiento de VanguardiaStability AI presenta StableLM 2 12B, modelo multilingüe eficiente entrenado en 2T tokens a lo largo de 7 idiomas con paridad frente a modelos de 70B.Leer análisis completo