ÁLVAROMAUREIRA

Qdrant Presenta FastEmbed: Biblioteca Ligera Basada en ONNX Runtime para Generación de Embeddings sin PyTorch

Publicado ·

El equipo de Qdrant ha desarrollado FastEmbed, una biblioteca de generación de embeddings vectoriales extremadamente rápida, ligera y eficiente en recursos, diseñada específicamente para entornos de producción que requieren generar representaciones semánticas densas y dispersas sin arrastrar las pesadas dependencias de PyTorch.

Inferencia Ligera con ONNX Runtime y Cero Dependencias Pesadas

En aplicaciones modernas de búsqueda vectorial y pipelines RAG, inicializar bibliotecas completas de aprendizaje profundo añade gigabytes innecesarios a imágenes de contenedor y penaliza el arranque en frío (cold starts):

  • Ejecución Nativa con ONNX Runtime: Al sustituir PyTorch por binarios precompilados de ONNX Runtime, FastEmbed reduce la huella de instalación de cientos de megabytes a menos de 50 MB, iniciando en una fracción de segundo.
  • Soporte para Bús

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. BAAI Presenta BGE Reranker v2: Reordenamiento Semántico Profundo por Atención Cruzada para RAGBAAI libera BGE Reranker v2, modelo de reordenamiento semántico basado en atención cruzada que maximiza la precisión de recuperación en sistemas RAG.Leer análisis completo
  2. Hugging Face Presenta FastRTC: Biblioteca Nativa de WebRTC para Agentes de Voz y Video en Tiempo RealHugging Face presenta FastRTC, biblioteca abierta que estandariza agentes multimodales con WebRTC nativo, detección de silencios y latencia inferior a 200ms.Leer análisis completo
  3. PyTorch Presenta Torchtune: Biblioteca Nativa y Modular para Ajuste Fino Eficiente de LLMsPyTorch presenta Torchtune, biblioteca nativa y modular para ajuste fino, evaluación y cuantización de modelos de lenguaje con recetas limpias y reproducibles.Leer análisis completo
  4. Microsoft Presenta Guidance: Lenguaje y Runtime de Control Estructurado para Ejecución Determinista de LLMsMicrosoft presenta Guidance, lenguaje y runtime para controlar LLMs con restricciones gramaticales de tipos y reutilización de KV cache sin fallos sintácticos.Leer análisis completo
  5. University of Washington Presenta FlashInfer: Biblioteca de Kernels GPU Acelerados para Servicio Eficiente de LLMsUW y SambaNova presentan FlashInfer, suite de kernels CUDA optimizados para atención paginada y aceleración de inferencia de LLMs con cero sobrecarga.Leer análisis completo
  6. Langfuse Presenta Plataforma Abierta de Observabilidad, Trazas de Ejecución y Métricas para LLMsLangfuse consolida la plataforma abierta de observabilidad para LLMs con trazas distribuidas, auditoría granular de costos por token y métricas de latencia.Leer análisis completo
  7. BAAI Presenta BGE-M3: Modelo Abierto de Embeddings Multilingüe y Multifuncional con Soporte para Más de 100 IdiomasLa Academia de IA de Beijing lanza BGE-M3, un modelo que unifica recuperación densa, léxica y multivectorial en 100 idiomas con ventana de 8192 tokens.Leer análisis completo
  8. Google DeepMind Presenta Genie 2: Modelo Fundacional del Mundo para Generar Entornos 3D Interactivos en Tiempo RealGoogle DeepMind presenta Genie 2, modelo fundacional capaz de simular y renderizar entornos virtuales 3D interactivos controlables en tiempo real.Leer análisis completo
  9. Nomic Presenta Nomic Embed Vision: Modelo Abierto de Embeddings Multimodales de 1.5B para Búsqueda Visual y TextoNomic presenta Nomic Embed Vision, modelo abierto de embeddings multimodales de 1.5B con alineación contrastiva abierta para búsqueda visual y texto cruzado.Leer análisis completo
  10. Anthropic Presenta Contextual Retrieval: Reducción del 49% en Fallos de Búsqueda RAG para EmpresasAnthropic presenta Contextual Retrieval, método que prefija contexto documental en RAG reduciendo hasta un 49% los fallos de búsqueda.Leer análisis completo
  11. Stability AI y Tripo AI Presentan TripoSR: Reconstrucción 3D Rápida en Menos de 0.5 Segundos desde una Sola ImagenStability AI y Tripo AI presentan TripoSR, modelo abierto que reconstruye objetos 3D completos a partir de una sola imagen en menos de 0,5 segundos.Leer análisis completo
  12. Unsloth AI Presenta Optimización de Ajuste Fino para LLMs: 2x Más Rápido y 70% Menos VRAM con Kernels TritonUnsloth AI presenta optimizaciones que duplican la velocidad y reducen la VRAM un 70% en ajuste fino de LLMs mediante kernels Triton escritos a mano.Leer análisis completo
  13. Stanford FutureData Presenta ColBERTv2: Recuperación Densa por Tokens con Compresión Residual y Huella 10x MenorStanford FutureData presenta ColBERTv2, arquitectura de interacción tardía con compresión residual que reduce el índice 10x manteniendo alta precisión en RAG.Leer análisis completo
  14. PanQiWei Presenta AutoGPTQ: Biblioteca de Cuantización Post-Entrenamiento a 4-Bit Acelerada por Kernels Triton y MarlinAutoGPTQ lidera la compresión de modelos de lenguaje a 4 bits mediante el algoritmo GPTQ, acelerando la inferencia en GPUs con kernels Marlin y Triton.Leer análisis completo
  15. vLLM presenta la arquitectura V1: rediseño integral del motor de inferencia con cero sobrecarga en Python y multiprocesamiento asíncronoEl consorcio vLLM liberó la arquitectura V1, reescribiendo el planificador de peticiones y logrando duplicar el throughput en inferencia de LLMs.Leer análisis completo
  16. Cognition expande Devin a escala empresarial: entornos de ejecución seguros, auditoría SOC 2 y migraciones automatizadas de bases de códigoCognition lanza Devin for Enterprise con sandboxes aislados, certificación SOC 2 y flujos autónomos para modernizar repositorios legados a gran escala.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados