Investigadores de Together AI y la Universidad de Stanford presentaron Flash-Decoding, un enfoque de paralelización que aborda el histórico cuello de botella de la fase de generación autorregresiva en modelos de lenguaje con contextos extendidos, acelerando la inferencia de atención hasta 8x en secuencias
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
FlashAttention-3: Stanford y Princeton Aceleran la Atención Exacta hasta 1.2 PFLOPs en GPUs Hopper con Asincronía y FP8Investigadores de Stanford y Princeton presentan FlashAttention-3, acelerando la atención exacta hasta 1,2 PFLOPs en GPUs Hopper con asincronía y FP8.Leer análisis completo
Stanford FutureData Presenta ColBERTv2: Recuperación Densa por Tokens con Compresión Residual y Huella 10x MenorStanford FutureData presenta ColBERTv2, arquitectura de interacción tardía con compresión residual que reduce el índice 10x manteniendo alta precisión en RAG.Leer análisis completo
LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
NVIDIA Presenta TensorRT-LLM: Compilación y Aceleración de Inferencia de LLMs con FP8 en GPUs Tensor CoreNVIDIA libera TensorRT-LLM, biblioteca abierta para optimizar y compilar inferencia de LLMs con in-flight batching y cuantización FP8 en GPUs Tensor Core.Leer análisis completo
Together AI y Princeton Presentan Medusa: Muestreo Especulativo con Múltiples Cabezales para Acelerar LLMs hasta 3xTogether AI y Princeton presentan Medusa, marco de decodificación especulativa con múltiples cabezales que acelera la inferencia de LLMs hasta 3x sin borrador.Leer análisis completo
Together AI Lanza Llama-3-Turbo: Motores de Inferencia Extrema a Más de 200 Tokens por Segundo y Baja LatenciaTogether AI introduce Llama-3-Turbo, motor de inferencia que supera los 200 tokens/s con latencia de primer token sub-90ms para agentes en tiempo real.Leer análisis completo
Together AI Presenta RedPajama Data v2: El Mayor Corpus Abierto con 30 Billones de Tokens y 40 Señales de CalidadTogether AI lanza RedPajama Data v2, corpus de 30 billones de tokens con más de 40 anotaciones de calidad para preentrenamiento de modelos abiertos soberanos.Leer análisis completo
Zhipu AI y THUDM Presentan CogVideoX: Familia Abierta de Modelos de Difusión de Video con VAE Causal 3D y Control CinemáticoZhipu AI y THUDM lanzan CogVideoX, modelos abiertos de difusión de video de 2B y 5B con VAE causal 3D y simulación de movimiento cinemático fluido.Leer análisis completo
Microsoft Presenta Guidance: Lenguaje y Runtime de Control Estructurado para Ejecución Determinista de LLMsMicrosoft presenta Guidance, lenguaje y runtime para controlar LLMs con restricciones gramaticales de tipos y reutilización de KV cache sin fallos sintácticos.Leer análisis completo
TII Presenta Falcon Mamba: El Primer Modelo de Lenguaje Abierto Basado en la Arquitectura SSM a Escala de 7BTII lanza Falcon Mamba 7B, primer modelo abierto puro basado en Mamba con memoria constante y rendimiento superior a Transformers como Llama 3 en benchmarks.Leer análisis completo
Together AI Presenta RedPajama-INCITE 7B: Modelo Abierto de Base e Instrucción para Investigación ReproducibleTogether AI lanza RedPajama-INCITE 7B, suite de modelos abiertos con dataset completo de 1T tokens y licencias Apache 2.0 para investigación reproducible.Leer análisis completo
Tokyo Tech y AIST Presentan Swallow: Modelos Abiertos de 7B a 70B Adaptados al Japonés en Supercomputador ABCITokyo Tech y AIST liberan Swallow, familia de modelos abiertos de 7B a 70B con preentrenamiento continuo masivo en japonés sobre el supercomputador ABCI.Leer análisis completo
OpenAI Lanza Whisper Large-v3-Turbo: Reconocimiento Automático de Voz Multilingüe con 8x Más Velocidad y Menor Huella de MemoriaOpenAI lanza Whisper Large-v3-Turbo con decodificador de 4 capas para transcripción de voz 8x más rápida y menor consumo de memoria GPU.Leer análisis completo
Google DeepMind Lanza Gemini 1.5 Flash-8B: Modelo Ultraligero para Inferencia Masiva de Alta FrecuenciaGoogle lanza Gemini 1.5 Flash-8B, modelo compacto con ventana de 1 millón de tokens optimizado para inferencia masiva a mitad de costo y doble velocidad.Leer análisis completo
Zyphra Presenta Zamba2: Arquitectura Híbrida Mamba2-Transformer con Atención Compartida para Inferencia UltrarrápidaZyphra presenta Zamba2, modelos híbridos Mamba2-Transformer con atención compartida para inferencia ultrarrápida y mínimo consumo de memoria VRAM.Leer análisis completo