Investigadores de la University of Washington y Duke University presentaron Punica, un sistema integral de inferencia que permite servir simultáneamente múltiples modelos especializados mediante adaptadores LoRA sobre un único modelo base compartido en una sola GPU con alta de
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
Microsoft Presenta DeepSpeed-MII: Servicio de Inferencia de Baja Latencia y Coste Mínimo para Modelos MasivosMicrosoft presenta DeepSpeed-MII, acelerando hasta 4.3x la inferencia de LLMs y reduciendo hasta 40x el coste por token mediante kernels ZeRO optimizados.Leer análisis completo
Together AI y Princeton Presentan Medusa: Muestreo Especulativo con Múltiples Cabezales para Acelerar LLMs hasta 3xTogether AI y Princeton presentan Medusa, marco de decodificación especulativa con múltiples cabezales que acelera la inferencia de LLMs hasta 3x sin borrador.Leer análisis completo
University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
Upstage Presenta Solar Pro: Modelo Abierto de 22B que Compite con Modelos de 70B en una Sola GPUUpstage lanza Solar Pro Preview, modelo de lenguaje abierto de 22B parámetros optimizado mediante Depth Up-Scaling para inferencia avanzada en una sola GPU.Leer análisis completo
Stability AI y Tripo AI Presentan TripoSR: Reconstrucción 3D Rápida en Menos de 0.5 Segundos desde una Sola ImagenStability AI y Tripo AI presentan TripoSR, modelo abierto que reconstruye objetos 3D completos a partir de una sola imagen en menos de 0,5 segundos.Leer análisis completo
LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
NVIDIA Presenta TensorRT-LLM: Compilación y Aceleración de Inferencia de LLMs con FP8 en GPUs Tensor CoreNVIDIA libera TensorRT-LLM, biblioteca abierta para optimizar y compilar inferencia de LLMs con in-flight batching y cuantización FP8 en GPUs Tensor Core.Leer análisis completo
DeepSeek Presenta DeepSeek-V2-Lite: Modelo MoE Abierto de 16B con Multi-Head Latent Attention para Inferencia EconómicaDeepSeek libera DeepSeek-V2-Lite, arquitectura MoE de 16B con 2.4B activos que introduce Multi-Head Latent Attention para reducir drásticamente el KV Cache.Leer análisis completo
CroissantLLM: Télécom Paris y Hugging Face Presentan Modelo Abierto de 1.3B con Paridad Bilingüe Francés-InglésTélécom Paris y Hugging Face liberan CroissantLLM, modelo abierto de 1.3B entrenado sobre 3T de tokens con paridad bilingüe estricta entre francés e inglés.Leer análisis completo
Kyutai Labs Presenta Helium 1: Modelo Abierto Ultracompacto de 2B Diseñado para Inferencia Local de Alta VelocidadKyutai Labs libera Helium 1, un modelo de lenguaje de 2.000 millones de parámetros con optimización de vocabulario para inferencia ultrarrápida on-device.Leer análisis completo
LG AI Research Presenta EXAONE 3.0: Modelos Fundacionales Abiertos Bilingües de 7.8B con Alta Eficiencia de InferenciaLG AI Research libera EXAONE 3.0 7.8B, modelo abierto bilingüe inglés-coreano optimizado con reducción de parámetros del 68% y alto rendimiento en código.Leer análisis completo
FlashAttention-3: Stanford y Princeton Aceleran la Atención Exacta hasta 1.2 PFLOPs en GPUs Hopper con Asincronía y FP8Investigadores de Stanford y Princeton presentan FlashAttention-3, acelerando la atención exacta hasta 1,2 PFLOPs en GPUs Hopper con asincronía y FP8.Leer análisis completo
vLLM presenta la arquitectura V1: rediseño integral del motor de inferencia con cero sobrecarga en Python y multiprocesamiento asíncronoEl consorcio vLLM liberó la arquitectura V1, reescribiendo el planificador de peticiones y logrando duplicar el throughput en inferencia de LLMs.Leer análisis completo
Google DeepMind Lanza Gemini 1.5 Flash-8B: Modelo Ultraligero para Inferencia Masiva de Alta FrecuenciaGoogle lanza Gemini 1.5 Flash-8B, modelo compacto con ventana de 1 millón de tokens optimizado para inferencia masiva a mitad de costo y doble velocidad.Leer análisis completo
Tokyo Tech y AIST Presentan Swallow: Modelos Abiertos de 7B a 70B Adaptados al Japonés en Supercomputador ABCITokyo Tech y AIST liberan Swallow, familia de modelos abiertos de 7B a 70B con preentrenamiento continuo masivo en japonés sobre el supercomputador ABCI.Leer análisis completo
KAIST y LG Presentan Prometheus 2: Modelo Abierto Especializado en Evaluación y LLM-as-a-JudgeKAIST y LG AI Research presentan Prometheus 2, modelo abierto especializado en evaluar LLMs con rúbricas transparentes y paridad frente a GPT-4-as-a-Judge.Leer análisis completo