Investigadores del MIT HAN Lab presentaron AWQ (Activation-aware Weight Quantization), un algoritmo de compresión de bajo consumo que cuantiza los pesos de modelos de lenguaje a 4 bits sin degradación de perplejidad ni necesidad de reentrenamiento, acelerando la inferencia hasta tres veces.
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
MIT HAN Lab Presenta SmoothQuant: Cuantización INT8 de Pesos y Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera SmoothQuant, técnica de cuantización W8A8 sin pérdida de precisión que permite servir LLMs masivos en la mitad de GPUs con 2x throughput.Leer análisis completo
InstructMesh propone corregir modelos 3D antes de fabricarlos mediante lenguaje y edición localInvestigadores de MIT y Google presentan InstructMesh: edición dirigida de mallas generadas por IA para resolver defectos mecánicos antes de imprimir en 3D.Leer análisis completo
MIT ajusta pronósticos para dos a seis semanasMIT explica una corrección de pronósticos para dos a seis semanas. Un ejercicio distingue probabilidades, decisiones reversibles y límites.Leer análisis completo
Meta Presenta MobileLLM: Optimización de Modelos de Lenguaje Sub-1B para Inferencia Directa en Dispositivos MóvilesMeta introduce MobileLLM, modelos compactos de 125M y 350M diseñados con Deep Equilibrium y compartición de capas para ejecutar IA eficiente en smartphones.Leer análisis completo
Microsoft Detalla BitNet b1.58: Inferencia Eficiente de LLMs con Ponderaciones Ternarias a 1 BitMicrosoft presenta BitNet b1.58, arquitectura donde cada parámetro adopta valores ternarios {-1, 0, 1}, reduciendo el consumo energético en inferencia de LLMs.Leer análisis completo
Mistral AI presenta Pixtral 12B: modelo multimodal de visión y lenguaje con compresión nativa de imágenes y pesos abiertos para investigaciónMistral AI lanzó Pixtral 12B, su modelo multimodal de visión y lenguaje capaz de procesar imágenes a resolución nativa con pesos abiertos.Leer análisis completo
Together AI y Princeton Presentan Medusa: Muestreo Especulativo con Múltiples Cabezales para Acelerar LLMs hasta 3xTogether AI y Princeton presentan Medusa, marco de decodificación especulativa con múltiples cabezales que acelera la inferencia de LLMs hasta 3x sin borrador.Leer análisis completo
Together AI y Stanford Presentan Flash-Decoding: Aceleración de Generación de LLMs hasta 8x en Contextos LargosTogether AI y Stanford presentan Flash-Decoding, técnica que paraleliza la atención en secuencias largas acelerando la generación de LLMs hasta 8x en GPUs.Leer análisis completo
University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
Apple Presenta OpenELM: Familia de Modelos de Lenguaje Ultraligeros de Código Abierto Optimizados para Inferencia en el BordeApple lanza OpenELM (270M a 3B parámetros), modelos de lenguaje de código abierto con escalado no uniforme para inferencia eficiente on-device.Leer análisis completo
LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
Shanghai AI Lab Presenta InternLM 2.5: Modelos Abiertos de Razonamiento con Ventana de Contexto de 1 Millón de TokensShanghai AI Lab lanza InternLM 2.5 en 7B y 20B, con procesamiento de 1M de tokens, razonamiento matemático avanzado y llamadas a herramientas complejas.Leer análisis completo
Allen AI Presenta Tulu 2 DPO: Familia de Modelos Abiertos de Instrucción con Optimización de Preferencias DirectasAllen AI lanza Tulu 2 DPO, suite de modelos abiertos en 70B y 13B con alineación directa de preferencias y recetas transparentes que superan a Llama 2 Chat.Leer análisis completo
Cohere lanza Command R7B: modelo multilingüe optimizado para agentes conversacionales y flujos RAG con bajo consumo de memoriaCohere anunció Command R7B, su modelo ligero multilingüe diseñado para tareas de agentes y flujos RAG corporativos de alta velocidad.Leer análisis completo
Cerebras despliega CS-3 con Wafer Scale Engine 3: el procesador monolítico que supera los 1.800 tokens por segundo en inferencia de LLMsCerebras activó CS-3 con el procesador gigante WSE-3, logrando más de 1.800 tokens por segundo en inferencia para agentes conversacionales.Leer análisis completo
IBM Presenta Granite Guardian: Modelos Abiertos Especializados en Detección de Riesgos, Sesgos y Seguridad para LLMsIBM lanza Granite Guardian, modelos abiertos especializados en detección de riesgos, sesgos, alucinaciones y seguridad para pipelines de LLMs empresariales.Leer análisis completo