Microsoft Research presentó DeepSpeed-MII (Model Implementations for Inference), un sistema de software de inferencia de ultra alto rendimiento diseñado para acelerar y reducir drásticamente el coste de servir mo
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
Microsoft Presenta DeepSpeed-FastGen: Inferencia de Alto Rendimiento con Dynamic SplitFuseMicrosoft presenta DeepSpeed-FastGen con Dynamic SplitFuse, técnica que unifica la ingestión y generación de tokens para disparar el throughput en GPUs.Leer análisis completo
Microsoft y CENIA acuerdan apoyo en la nube e investigación para Latam GPTMicrosoft y CENIA anunciaron apoyo en infraestructura de nube e investigación para el proyecto regional Latam GPT.Leer análisis completo
Microsoft Research Libera BitBLAS: Biblioteca de Operaciones Matriciales para Cuantización Sub-Byte en GPUsMicrosoft Research presenta BitBLAS, biblioteca BLAS de alto rendimiento para acelerar hasta 8x la inferencia de modelos cuantizados a precisión sub-byte.Leer análisis completo
Haiku 5.5: medir el costo de una tarea aceptadaAnálisis del costo total de Claude Haiku 5.5: impacto del nuevo tokenizador, umbrales de contexto, reglas de abstención y condiciones de créditos mensuales.Leer análisis completo
Kyutai Presenta Mimi: Codec de Audio Neuronal Abierto de Ultra Baja Latencia para Modelos de VozKyutai libera Mimi, codec de audio neuronal abierto que combina tokens acústicos y semánticos a 12,5 Hz para síntesis de voz interactiva a baja latencia.Leer análisis completo
Meta lanza Llama 3.3 70B Instruct: rendimiento comparable a modelos de 405B con costes de cómputo y memoria drásticamente reducidosMeta presentó Llama 3.3 70B Instruct, logrando métricas de frontera cercanas a Llama 3.1 405B pero operable en una única GPU de 80 GB.Leer análisis completo
SenseTime Libera LightLLM: Motor de Inferencia Liviano de Alto Rendimiento con Co-Diseño de Algoritmos y SistemasSenseTime presenta LightLLM, motor de inferencia liviano que maximiza la ocupación de memoria en GPUs y cuadruplica el throughput mediante gestión por token.Leer análisis completo
MIT HAN Lab Presenta SmoothQuant: Cuantización INT8 de Pesos y Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera SmoothQuant, técnica de cuantización W8A8 sin pérdida de precisión que permite servir LLMs masivos en la mitad de GPUs con 2x throughput.Leer análisis completo
AWS despliega Trainium2 a escala: aceleradores de cómputo dedicados para entrenar modelos fundacionales con menor coste energéticoAWS lanzó Trainium2 para entrenamiento de modelos fundacionales con clústeres de hasta 100.000 chips y cuatro veces más rendimiento por vatio.Leer análisis completo
LG AI Research Presenta EXAONE 3.0: Modelos Fundacionales Abiertos Bilingües de 7.8B con Alta Eficiencia de InferenciaLG AI Research libera EXAONE 3.0 7.8B, modelo abierto bilingüe inglés-coreano optimizado con reducción de parámetros del 68% y alto rendimiento en código.Leer análisis completo
Intel Inference Microservices: cómo evaluar inferencia en XeonIntel presenta contenedores de inferencia para Xeon: alcance, perfiles automáticos y límites de la primera versión.Leer análisis completo
LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
Google lanza Gemini 2.0 Flash Thinking: modo de razonamiento multimodal en tiempo real con cadena de pensamiento explícita y baja latenciaGoogle presentó Gemini 2.0 Flash Thinking con proceso de razonamiento explícito y baja latencia para agentes y tareas científicas complejas.Leer análisis completo
Kyutai Labs Presenta Helium 1: Modelo Abierto Ultracompacto de 2B Diseñado para Inferencia Local de Alta VelocidadKyutai Labs libera Helium 1, un modelo de lenguaje de 2.000 millones de parámetros con optimización de vocabulario para inferencia ultrarrápida on-device.Leer análisis completo
Microsoft Presenta GRIN-MoE: Modelo de Mezcla de Expertos con Enrutamiento Informado por Gradiente para Inferencia EficienteMicrosoft presenta GRIN-MoE, arquitectura de mezcla de expertos de 6.6B que optimiza la selección de rutas mediante estimación de gradiente en tiempo real.Leer análisis completo
Axolotl Presenta su Framework Unificado de Ajuste Fino y Post-Entrenamiento para Modelos AbiertosAxolotl libera su framework de post-entrenamiento que estandariza ajuste fino de LLMs con YAML, empaquetado de secuencias y aceleración FSDP y DeepSpeed.Leer análisis completo