Investigadores de LMSYS Org y la Universidad de California en Berkeley presentaron SGLang, un marco de programación y servicio de alto rendimiento para modelos de lenguaje que introduce RadixAttention, un mecanismo de retención y reutilización de memoria KV en árbol de prefijos que multiplica el throughpu
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
UC Berkeley Presenta Gorilla OpenFunctions v2: Modelo Abierto Especializado en Llamadas a Funciones y APIsUC Berkeley lanza Gorilla OpenFunctions v2, modelo abierto de 7B optimizado para llamadas a múltiples funciones en paralelo y ejecución de APIs complejas.Leer análisis completo
Microsoft Presenta DeepSpeed-FastGen: Inferencia de Alto Rendimiento con Dynamic SplitFuseMicrosoft presenta DeepSpeed-FastGen con Dynamic SplitFuse, técnica que unifica la ingestión y generación de tokens para disparar el throughput en GPUs.Leer análisis completo
SenseTime Libera LightLLM: Motor de Inferencia Liviano de Alto Rendimiento con Co-Diseño de Algoritmos y SistemasSenseTime presenta LightLLM, motor de inferencia liviano que maximiza la ocupación de memoria en GPUs y cuadruplica el throughput mediante gestión por token.Leer análisis completo
Together AI y Princeton Presentan Medusa: Muestreo Especulativo con Múltiples Cabezales para Acelerar LLMs hasta 3xTogether AI y Princeton presentan Medusa, marco de decodificación especulativa con múltiples cabezales que acelera la inferencia de LLMs hasta 3x sin borrador.Leer análisis completo
Together AI y Stanford Presentan Flash-Decoding: Aceleración de Generación de LLMs hasta 8x en Contextos LargosTogether AI y Stanford presentan Flash-Decoding, técnica que paraleliza la atención en secuencias largas acelerando la generación de LLMs hasta 8x en GPUs.Leer análisis completo
University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
NVIDIA Presenta TensorRT-LLM: Compilación y Aceleración de Inferencia de LLMs con FP8 en GPUs Tensor CoreNVIDIA libera TensorRT-LLM, biblioteca abierta para optimizar y compilar inferencia de LLMs con in-flight batching y cuantización FP8 en GPUs Tensor Core.Leer análisis completo
University of Washington y Duke Presentan Punica: Servicio Multi-Inquilino de LoRA con SGMV en GPUsUW y Duke presentan Punica, sistema de inferencia que permite servir decenas de modelos LoRA sobre un modelo base compartido en una sola GPU con kernels SGMV.Leer análisis completo
MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
Princeton Presenta Sheared LLaMA: Modelos Abiertos Compactos Mediante Poda Estructurada y DestilaciónInvestigadores de Princeton presentan Sheared LLaMA, reduciendo modelos de 7B a 1.3B y 2.7B mediante poda estructurada con preservación de capacidades.Leer análisis completo
dottxt Presenta Outlines: Generación Estructurada de Texto y JSON Estricto mediante Autómatas Finitosdottxt presenta Outlines, marco de generación estructurada para LLMs que garantiza salidas JSON y formatos estrictos usando autómatas de estados finitos.Leer análisis completo
Tokyo Tech y AIST Presentan Swallow: Modelos Abiertos de 7B a 70B Adaptados al Japonés en Supercomputador ABCITokyo Tech y AIST liberan Swallow, familia de modelos abiertos de 7B a 70B con preentrenamiento continuo masivo en japonés sobre el supercomputador ABCI.Leer análisis completo
01.AI Presenta Yi-Lightning: Modelo de Frontera de Alta Velocidad y Bajo Coste que Empata con GPT-4o en LMSYS01.AI lanza Yi-Lightning, modelo que alcanza el puesto #6 global en LMSYS Arena empatando con GPT-4o a un coste hasta 90% menor.Leer análisis completo
Zhipu AI y THUDM Presentan CogVideoX: Familia Abierta de Modelos de Difusión de Video con VAE Causal 3D y Control CinemáticoZhipu AI y THUDM lanzan CogVideoX, modelos abiertos de difusión de video de 2B y 5B con VAE causal 3D y simulación de movimiento cinemático fluido.Leer análisis completo
Apple Presenta OpenELM: Familia de Modelos de Lenguaje Ultraligeros de Código Abierto Optimizados para Inferencia en el BordeApple lanza OpenELM (270M a 3B parámetros), modelos de lenguaje de código abierto con escalado no uniforme para inferencia eficiente on-device.Leer análisis completo
CroissantLLM: Télécom Paris y Hugging Face Presentan Modelo Abierto de 1.3B con Paridad Bilingüe Francés-InglésTélécom Paris y Hugging Face liberan CroissantLLM, modelo abierto de 1.3B entrenado sobre 3T de tokens con paridad bilingüe estricta entre francés e inglés.Leer análisis completo