OpenPipe Presenta Plataforma de Destilación y Fine-Tuning de LLMs para Producción
OpenPipe ha transformado la economía de la inferencia en producción para modelos de l
Sigue leyendo las noticias clave de IA
Filtrar y personalizar
Cohere Command R+: Especialización y Fine-Tuning de RAG para Empresas con Citas VerificablesAnálisis de Cohere Command R+ con fine-tuning para RAG empresarial, reducción de alucinaciones y citas verificables en bases de conocimiento corporativas.Leer análisis completo
NVIDIA Presenta Nemotron-Mini-4B-Instruct: Modelo Compacto Optimizado con Destilación y Cuantización para Inferencia On-DeviceNVIDIA lanza Nemotron-Mini-4B-Instruct, SLM optimizado para PCs con IA y entornos edge con alta precisión en llamadas a funciones y razonamiento estructurado.Leer análisis completo
Argilla Presenta Plataforma Abierta de Curación de Datos para Alineación DPO y RLHF de LLMsArgilla consolida la plataforma abierta de curación de datos y feedback humano para alineación de modelos de lenguaje mediante DPO, KTO y RLHF.Leer análisis completo
Langfuse Presenta Plataforma Abierta de Observabilidad, Trazas de Ejecución y Métricas para LLMsLangfuse consolida la plataforma abierta de observabilidad para LLMs con trazas distribuidas, auditoría granular de costos por token y métricas de latencia.Leer análisis completo
Hugging Face Presenta Distil-Whisper: Destilación de Modelos de Voz con 6x Mayor Velocidad y Paridad de PrecisiónHugging Face presenta Distil-Whisper, reduciendo la latencia de Whisper en 6 veces y el tamaño en un 49% con paridad de precisión en transcripción de voz.Leer análisis completo
Princeton Presenta Sheared LLaMA: Modelos Abiertos Compactos Mediante Poda Estructurada y DestilaciónInvestigadores de Princeton presentan Sheared LLaMA, reduciendo modelos de 7B a 1.3B y 2.7B mediante poda estructurada con preservación de capacidades.Leer análisis completo
MIT HAN Lab Presenta AWQ: Cuantización a 4 Bits Guiada por Activaciones para Acelerar la Inferencia de LLMsMIT HAN Lab libera AWQ, técnica de cuantización a 4 bits guiada por activaciones que acelera la inferencia de LLMs hasta 3x sin pérdida de precisión.Leer análisis completo
turboderp Presenta ExLlamaV2: Motor de Inferencia Ultrarrápido para LLMs con Cuantización Híbrida EXL2turboderp libera ExLlamaV2, motor C++/CUDA que acelera la inferencia de LLMs en GPUs NVIDIA mediante el formato de cuantización de bits mixtos EXL2.Leer análisis completo
IBM Presenta Granite Guardian: Modelos Abiertos Especializados en Detección de Riesgos, Sesgos y Seguridad para LLMsIBM lanza Granite Guardian, modelos abiertos especializados en detección de riesgos, sesgos, alucinaciones y seguridad para pipelines de LLMs empresariales.Leer análisis completo
AI21 Labs Presenta Jamba 1.5: Modelos Híbridos Mamba-Transformer con 256k Tokens de Contexto para Inferencia UltrarrápidaAI21 Labs lanza Jamba 1.5, modelos híbridos Mamba-Transformer abiertos con ventana de 256k tokens e inferencia 2,5x más rápida en contextos largos.Leer análisis completo
Hugging Face Presenta SmolLM2: Familia de Modelos Abiertos de 135M a 1.7B para Inferencia On-Device y Agentes LocalesHugging Face publica SmolLM2 en tamaños de 135M, 360M y 1.7B parámetros, optimizados para razonamiento local, llamadas a herramientas y despliegue on-device.Leer análisis completo
LG AI Research Presenta EXAONE 3.0: Modelos Fundacionales Abiertos Bilingües de 7.8B con Alta Eficiencia de InferenciaLG AI Research libera EXAONE 3.0 7.8B, modelo abierto bilingüe inglés-coreano optimizado con reducción de parámetros del 68% y alto rendimiento en código.Leer análisis completo
Microsoft Presenta DeepSpeed-MII: Servicio de Inferencia de Baja Latencia y Coste Mínimo para Modelos MasivosMicrosoft presenta DeepSpeed-MII, acelerando hasta 4.3x la inferencia de LLMs y reduciendo hasta 40x el coste por token mediante kernels ZeRO optimizados.Leer análisis completo
Tsinghua University Presenta KTransformers: Inferencia Híbrida CPU-GPU con Kernels AMX para Modelos MoE LocalesTsinghua University presenta KTransformers, motor que ejecuta modelos MoE masivos en hardware de consumo combinando GPU y CPU con extensiones AVX-512 y AMX.Leer análisis completo
Cerebras despliega CS-3 con Wafer Scale Engine 3: el procesador monolítico que supera los 1.800 tokens por segundo en inferencia de LLMsCerebras activó CS-3 con el procesador gigante WSE-3, logrando más de 1.800 tokens por segundo en inferencia para agentes conversacionales.Leer análisis completo
Apple Presenta OpenELM: Familia de Modelos de Lenguaje Ultraligeros de Código Abierto Optimizados para Inferencia en el BordeApple lanza OpenELM (270M a 3B parámetros), modelos de lenguaje de código abierto con escalado no uniforme para inferencia eficiente on-device.Leer análisis completo