Investigadores de NVIDIA y la Universidad de Ciencia y Tecnología de Hong Kong presentaron DoRA (Weight-Decomposed Low-Rank Adaptation), un método de ajuste fino eficiente de parámetros que descompone las matrices de pesos preentrenadas en componentes de magn
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
Unsloth AI Presenta Optimización de Ajuste Fino para LLMs: 2x Más Rápido y 70% Menos VRAM con Kernels TritonUnsloth AI presenta optimizaciones que duplican la velocidad y reducen la VRAM un 70% en ajuste fino de LLMs mediante kernels Triton escritos a mano.Leer análisis completo
C3 AI y NVIDIA integran agentes autónomos para optimización y resiliencia en cadenas de suministro industrialesC3 AI y NVIDIA despliegan agentes autónomos con microservicios NIM para optimización y resiliencia en cadenas de suministro industriales.Leer análisis completo
Google lleva búsqueda con Gemini a entornos aislados y habilita NVIDIA HGX B300 en GDCGoogle Cloud amplía Google Distributed Cloud con búsqueda Gemini air-gapped: diferencias entre vistas previas técnicas y disponibilidad general de silicio.Leer análisis completo
UC Berkeley y Georgia Tech Presentan Sarathi-Serve: Chunked-Prefill y Pipelining para LLMsUC Berkeley y Georgia Tech presentan Sarathi-Serve, planificador que triplica el throughput en LLMs intercalando fragmentos de prefill con decodificación.Leer análisis completo
NVIDIA Presenta Megatron-Core: Biblioteca Optimizada de GPU para Entrenamiento y Escalado Masivo de LLMsNVIDIA libera Megatron-Core, suite modular para estandarizar paralelismo tensorial y de pipeline en LLMs, logrando más del 55% de MFU en clusters GPU.Leer análisis completo
NVIDIA Presenta NVLM 1.0: Familia Abierta Multimodal de 72B que Iguala a GPT-4o Preservando Rendimiento TextualNVIDIA lanza NVLM 1.0, modelos multimodales abiertos de 72B con arquitectura híbrida que logran paridad con GPT-4o en visión y mejoran en tareas de texto.Leer análisis completo
Physical AI Growth Lab convoca startupsUna nueva convocatoria prepara apoyo para startups de robótica e IA.Leer análisis completo
MIT HAN Lab Presenta SmoothQuant: Cuantización INT8 de Pesos y Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera SmoothQuant, técnica de cuantización W8A8 sin pérdida de precisión que permite servir LLMs masivos en la mitad de GPUs con 2x throughput.Leer análisis completo
PyTorch Presenta Torchtune: Biblioteca Nativa y Modular para Ajuste Fino Eficiente de LLMsPyTorch presenta Torchtune, biblioteca nativa y modular para ajuste fino, evaluación y cuantización de modelos de lenguaje con recetas limpias y reproducibles.Leer análisis completo
University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
University of Washington y Duke Presentan Punica: Servicio Multi-Inquilino de LoRA con SGMV en GPUsUW y Duke presentan Punica, sistema de inferencia que permite servir decenas de modelos LoRA sobre un modelo base compartido en una sola GPU con kernels SGMV.Leer análisis completo
LG AI Research Presenta EXAONE 3.0: Modelos Fundacionales Abiertos Bilingües de 7.8B con Alta Eficiencia de InferenciaLG AI Research libera EXAONE 3.0 7.8B, modelo abierto bilingüe inglés-coreano optimizado con reducción de parámetros del 68% y alto rendimiento en código.Leer análisis completo
Allen AI Presenta Tulu 2 DPO: Familia de Modelos Abiertos de Instrucción con Optimización de Preferencias DirectasAllen AI lanza Tulu 2 DPO, suite de modelos abiertos en 70B y 13B con alineación directa de preferencias y recetas transparentes que superan a Llama 2 Chat.Leer análisis completo
NVIDIA Presenta Llama-3.1-Nemotron-70B: Modelo de Recompensas de Alta Precisión para Alineamiento de LLMsNVIDIA lanza Llama-3.1-Nemotron-70B-Reward, modelo de recompensas de alta precisión optimizado con HelpSteer2 para alinear modelos de lenguaje de frontera.Leer análisis completo
Shanghai AI Lab Presenta InternLM-XComposer 2.5: Modelo Multimodal Abierto para Comprensión Visual y Composición de ArtículosShanghai AI Lab presenta InternLM-XComposer 2.5, modelo multimodal de 7B capaz de generar artículos extensos ilustrados y comprender video y alta resolución.Leer análisis completo
Una cátedra UNESCO en Colombia abre una publicación sobre arte, ciencia e IA desde América LatinaUtadeo abre convocatoria de Cátedra UNESCO sobre arte, ciencia e IA: 5 ejes temáticos, acceso abierto diamante y recepción de textos hasta el 19 de noviembre.Leer análisis completo