Investigadores de Together AI, la Universidad de Princeton, UC Berkeley y UIUC presentaron Medusa, un marco de aceleración de inferencia para modelos de lenguaje que añade múltiples cabezales de decodificación ligera sobre el modelo base, logrando aceleraciones de 2x a 3x en la generación de texto
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
UC Berkeley Presenta Gorilla OpenFunctions v2: Modelo Abierto Especializado en Llamadas a Funciones y APIsUC Berkeley lanza Gorilla OpenFunctions v2, modelo abierto de 7B optimizado para llamadas a múltiples funciones en paralelo y ejecución de APIs complejas.Leer análisis completo
LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
NVIDIA Presenta TensorRT-LLM: Compilación y Aceleración de Inferencia de LLMs con FP8 en GPUs Tensor CoreNVIDIA libera TensorRT-LLM, biblioteca abierta para optimizar y compilar inferencia de LLMs con in-flight batching y cuantización FP8 en GPUs Tensor Core.Leer análisis completo
FlashAttention-3: Stanford y Princeton Aceleran la Atención Exacta hasta 1.2 PFLOPs en GPUs Hopper con Asincronía y FP8Investigadores de Stanford y Princeton presentan FlashAttention-3, acelerando la atención exacta hasta 1,2 PFLOPs en GPUs Hopper con asincronía y FP8.Leer análisis completo
Together AI Presenta RedPajama-INCITE 7B: Modelo Abierto de Base e Instrucción para Investigación ReproducibleTogether AI lanza RedPajama-INCITE 7B, suite de modelos abiertos con dataset completo de 1T tokens y licencias Apache 2.0 para investigación reproducible.Leer análisis completo
Zhipu AI y THUDM Presentan CogVideoX: Familia Abierta de Modelos de Difusión de Video con VAE Causal 3D y Control CinemáticoZhipu AI y THUDM lanzan CogVideoX, modelos abiertos de difusión de video de 2B y 5B con VAE causal 3D y simulación de movimiento cinemático fluido.Leer análisis completo
Together AI Lanza Llama-3-Turbo: Motores de Inferencia Extrema a Más de 200 Tokens por Segundo y Baja LatenciaTogether AI introduce Llama-3-Turbo, motor de inferencia que supera los 200 tokens/s con latencia de primer token sub-90ms para agentes en tiempo real.Leer análisis completo
dottxt Presenta Outlines: Generación Estructurada de Texto y JSON Estricto mediante Autómatas Finitosdottxt presenta Outlines, marco de generación estructurada para LLMs que garantiza salidas JSON y formatos estrictos usando autómatas de estados finitos.Leer análisis completo
Microsoft Presenta Guidance: Lenguaje y Runtime de Control Estructurado para Ejecución Determinista de LLMsMicrosoft presenta Guidance, lenguaje y runtime para controlar LLMs con restricciones gramaticales de tipos y reutilización de KV cache sin fallos sintácticos.Leer análisis completo
Together AI Presenta RedPajama Data v2: El Mayor Corpus Abierto con 30 Billones de Tokens y 40 Señales de CalidadTogether AI lanza RedPajama Data v2, corpus de 30 billones de tokens con más de 40 anotaciones de calidad para preentrenamiento de modelos abiertos soberanos.Leer análisis completo
Mistral AI Presenta Pixtral 12B: Modelo Multimodal de Visión con Soporte para Múltiples Imágenes y Resolución DinámicaMistral AI lanza Pixtral 12B, modelo multimodal de pesos abiertos con codificador de visión dinámico para analizar múltiples imágenes y documentos complejos.Leer análisis completo
University of Washington y Duke Presentan Punica: Servicio Multi-Inquilino de LoRA con SGMV en GPUsUW y Duke presentan Punica, sistema de inferencia que permite servir decenas de modelos LoRA sobre un modelo base compartido en una sola GPU con kernels SGMV.Leer análisis completo
CroissantLLM: Télécom Paris y Hugging Face Presentan Modelo Abierto de 1.3B con Paridad Bilingüe Francés-InglésTélécom Paris y Hugging Face liberan CroissantLLM, modelo abierto de 1.3B entrenado sobre 3T de tokens con paridad bilingüe estricta entre francés e inglés.Leer análisis completo
Tokyo Tech y AIST Presentan Swallow: Modelos Abiertos de 7B a 70B Adaptados al Japonés en Supercomputador ABCITokyo Tech y AIST liberan Swallow, familia de modelos abiertos de 7B a 70B con preentrenamiento continuo masivo en japonés sobre el supercomputador ABCI.Leer análisis completo
KAIST y LG Presentan Prometheus 2: Modelo Abierto Especializado en Evaluación y LLM-as-a-JudgeKAIST y LG AI Research presentan Prometheus 2, modelo abierto especializado en evaluar LLMs con rúbricas transparentes y paridad frente a GPT-4-as-a-Judge.Leer análisis completo