NVIDIA presentó TensorRT-LLM, una biblioteca integral de código abierto diseñada para compilar, optimizar y servir modelos de lenguaje masivos en GPUs Tensor Core con rendimiento máximo, incorporando planificación de lotes en vuelo (in-flight batching), gestión de memoria por páginas (paged KV cache) y
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
NVIDIA Presenta Megatron-Core: Biblioteca Optimizada de GPU para Entrenamiento y Escalado Masivo de LLMsNVIDIA libera Megatron-Core, suite modular para estandarizar paralelismo tensorial y de pipeline en LLMs, logrando más del 55% de MFU en clusters GPU.Leer análisis completo
NVIDIA Presenta NVLM 1.0: Familia Abierta Multimodal de 72B que Iguala a GPT-4o Preservando Rendimiento TextualNVIDIA lanza NVLM 1.0, modelos multimodales abiertos de 72B con arquitectura híbrida que logran paridad con GPT-4o en visión y mejoran en tareas de texto.Leer análisis completo
NVIDIA Lanza Nemotron-4 340B: Familia de Modelos Abiertos Optimizada para la Generación de Datos SintéticosNVIDIA presenta Nemotron-4 340B, modelos abiertos diseñados para generar y evaluar datos sintéticos masivos de alta calidad para entrenar otros LLMs.Leer análisis completo
Google lleva búsqueda con Gemini a entornos aislados y habilita NVIDIA HGX B300 en GDCGoogle Cloud amplía Google Distributed Cloud con búsqueda Gemini air-gapped: diferencias entre vistas previas técnicas y disponibilidad general de silicio.Leer análisis completo
Apple Libera CoreNet: Biblioteca de Código Abierto para Entrenamiento y Optimización de Modelos de IA a Gran EscalaApple presenta CoreNet, framework abierto para entrenar redes profundas y modelos multimodales a gran escala con soporte unificado para CUDA y Apple Silicon.Leer análisis completo
Physical AI Growth Lab convoca startupsUna nueva convocatoria prepara apoyo para startups de robótica e IA.Leer análisis completo
Apple Presenta OpenELM: Familia de Modelos de Lenguaje Ultraligeros de Código Abierto Optimizados para Inferencia en el BordeApple lanza OpenELM (270M a 3B parámetros), modelos de lenguaje de código abierto con escalado no uniforme para inferencia eficiente on-device.Leer análisis completo
Databricks Presenta DBRX: Modelo de Lenguaje MoE de Código Abierto con 132B Parámetros y Eficiencia de InferenciaDatabricks lanza DBRX, modelo MoE abierto de 132B (36B activos) que supera a Llama 2 70B y Mixtral en programación, matemáticas y razonamiento con menor costo.Leer análisis completo
Stanford Presenta DSPy: El Framework Abierto que Reemplaza Prompts Manuales por Compilación AlgorítmicaInvestigadores de Stanford liberan DSPy, un marco de programación que compila y optimiza pipelines de LLMs automáticamente mediante módulos algorítmicos.Leer análisis completo
Allen AI Presenta OLMo 7B: Modelo Abierto con Acceso Total a Datos Dolma, Código de Entrenamiento y PesosAllen AI lanza OLMo 7B, modelo fundacional abierto con acceso libre al corpus Dolma de 3 billones de tokens, código y pesos sin restricciones.Leer análisis completo
Salesforce Presenta xGen-MM (BLIP-3): Familia de Modelos Multimodales Abiertos con Datos y Código LibresSalesforce libera xGen-MM (BLIP-3), suite abierta de modelos multimodales con dataset MINT-1T y preentrenamiento intercalado de imagen y texto abierto.Leer análisis completo
NVIDIA Presenta Llama-3.1-Nemotron-70B: Modelo de Recompensas de Alta Precisión para Alineamiento de LLMsNVIDIA lanza Llama-3.1-Nemotron-70B-Reward, modelo de recompensas de alta precisión optimizado con HelpSteer2 para alinear modelos de lenguaje de frontera.Leer análisis completo
LMSYS y UC Berkeley Presentan SGLang: Servicio de LLMs con RadixAttention y Rendimiento hasta 5xLMSYS y UC Berkeley presentan SGLang, marco de ejecución estructurada y servicio de LLMs con RadixAttention que multiplica el rendimiento hasta 5x.Leer análisis completo
SenseTime Libera LightLLM: Motor de Inferencia Liviano de Alto Rendimiento con Co-Diseño de Algoritmos y SistemasSenseTime presenta LightLLM, motor de inferencia liviano que maximiza la ocupación de memoria en GPUs y cuadruplica el throughput mediante gestión por token.Leer análisis completo
University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
Stability AI Presenta Stable Code 3B: Modelo Abierto de Programación para Inferencia Local en DispositivosStability AI lanza Stable Code 3B, modelo abierto de 3B parámetros para autocompletado y generación de código localmente con paridad frente a modelos de 7B.Leer análisis completo