ÁLVAROMAUREIRA

F5-TTS Presenta Síntesis de Voz Zero-Shot No Autorregresiva Basada en Flow Matching de Alta Fidelidad

Publicado ·

Investigadores de la Universidad Jiao Tong de Shanghái han presentado F5-TTS, un sistema no autorregresivo de síntesis de voz (Text-to-Speech) de alta fidelidad basado en Flow Matching que redefine la clonación de voz zero-shot al eliminar por completo la necesidad de alineación fonética compleja o modelos de duración explícitos.

Arquitectura No Autorregresiva con Flow Matching

Los sistemas tradicionales de síntesis de voz sufren de dos limitaciones principales: los modelos autorregresivos son propensos a alucinaciones de pronunciación y repeticiones infinitas, mientras que los modelos basados en difusión suelen requerir decenas de pasos de muestreo lentos. F5-TTS resuelve este dilema mediante un enfoque radicalmente eficiente:

  • Flow Matching Condicional con ConvNeXt: Modela la trayectoria continua desde una distribución de ruido gaussiano hasta el espectrograma mel objetivo en solo 16 a 32 pasos de integración de Euler, reduciendo el factor de tiempo real (RTF

Sigue aprendiendo

Explora los recursos y continúa tu recorrido en la comunidad.

Únete gratis a la comunidad →

Sigue leyendo las noticias clave de IA

  1. Alibaba FunAudioLLM Presenta CosyVoice: Síntesis de Voz Multilingüe y Clonación Cero-Disparo con Control EmocionalAlibaba FunAudioLLM libera CosyVoice, modelo fundacional abierto de síntesis y clonación de voz multilingüe con control fino de emociones y prosodia.Leer análisis completo
  2. Baichuan Presenta Baichuan-Omni: Modelo Multimodal Abierto de Procesamiento de Voz, Video y Texto en Tiempo RealBaichuan presenta Baichuan-Omni, modelo de 7B para comprensión multimodal simultánea de video y voz con latencia de 400 ms e interacción natural.Leer análisis completo
  3. ByteDance Presenta Seed-TTS: Familia de Modelos de Síntesis de Voz con Clonación Cero Muestras y Expresividad HumanaByteDance introduce Seed-TTS, modelo de síntesis de voz con clonación cero muestras en 3 segundos y expresividad emocional humana fotorrealista.Leer análisis completo
  4. Fish Audio Presenta Fish-Speech 1.5: Síntesis de Voz Autorregresiva Abierta con Clonación Cero Muestras y Compresión Dual-ARFish Audio lanza Fish-Speech 1.5, modelo abierto de TTS autorregresivo con clonación de voz en segundos, alta fidelidad acústica y soporte multilingüe.Leer análisis completo
  5. Hexgrad Presenta Kokoro-82M: Modelo de Síntesis de Voz de 82 Millones de Parámetros con Rendimiento Superior a Tiempo RealHexgrad libera Kokoro-82M, modelo ligero de síntesis de voz de 82M que alcanza calidad de frontera ejecutándose a gran velocidad en CPUs de consumo sin GPU.Leer análisis completo
  6. Hugging Face Presenta Parler-TTS: Síntesis de Voz Abierta y Expresiva Controlada por Lenguaje NaturalHugging Face libera Parler-TTS, modelo abierto de síntesis de voz guiado por lenguaje natural para controlar tono, prosodia, cadencia y ambiente sonoro.Leer análisis completo
  7. Kyutai presenta Moshi: el modelo de voz multimodal en tiempo real con 200 milisegundos de latencia y pesos abiertosKyutai libera Moshi, modelo de diálogo por voz full-duplex con latencia de 200ms, compresión Mimi y pesos abiertos para ejecución en servidores locales.Leer análisis completo
  8. OpenAI WhisperX: Reconocimiento de Voz Ultrarrápido con Alineación a Nivel de Fonema y DiarizaciónWhisperX combina los modelos Whisper con Wav2Vec2 para lograr alineación fonética milimétrica y diarización de interlocutores con velocidad acelerada.Leer análisis completo
  9. Suno Presenta v4: Modelo Generativo de Audio y Música en 48 kHz con Alta Fidelidad Sonora y Estructura Musical ComplejaSuno presenta v4, modelo de generación musical en 48 kHz con fidelidad de estudio, alineación lírica precisa y estructura armónica sin artefactos metálicos.Leer análisis completo
  10. Hugging Face Presenta FastRTC: Biblioteca Nativa de WebRTC para Agentes de Voz y Video en Tiempo RealHugging Face presenta FastRTC, biblioteca abierta que estandariza agentes multimodales con WebRTC nativo, detección de silencios y latencia inferior a 200ms.Leer análisis completo
  11. Google GameNGen: El Primer Motor de Videojuegos Neuronal Capaz de Simular DOOM en Tiempo Real Mediante DifusiónGoogle Research presenta GameNGen, el primer motor neuronal capaz de simular DOOM a más de 20 FPS mediante modelos de difusión interactivos en tiempo real.Leer análisis completo
  12. Liquid AI Lanza LFM: Modelos Fundacionales No Basados en Transformers con Memoria EficienteLiquid AI lanza los Liquid Foundation Models (LFM), arquitectura no transformer inspirada en neurobiología para inferencia eficiente con memoria mínima.Leer análisis completo
  13. Mozilla Ocho Presenta Llamafile: Distribución de LLMs en un Solo Archivo Ejecutable MultiplataformaMozilla Ocho y Justine Tunney presentan Llamafile, combinando llama.cpp y Cosmopolitan Libc para ejecutar LLMs en un solo binario en Linux, macOS y Windows.Leer análisis completo
  14. Together AI y Princeton Presentan Medusa: Muestreo Especulativo con Múltiples Cabezales para Acelerar LLMs hasta 3xTogether AI y Princeton presentan Medusa, marco de decodificación especulativa con múltiples cabezales que acelera la inferencia de LLMs hasta 3x sin borrador.Leer análisis completo
  15. RWKV Foundation Presenta RWKV-v6 Finch: Arquitectura Lineal RNN con Estado Matricial para Secuencias InfinitasRWKV Foundation lanza RWKV-v6 Finch, arquitectura que combina la expresividad de los Transformers con el costo de memoria constante O(1) de redes recurrentes.Leer análisis completo
  16. Apple Depth Pro: Estimación Métrica de Profundidad Monocular en Alta Resolución y Tiempo RealApple presenta Depth Pro, modelo de visión que infiere profundidad métrica 2D a 3D en 0.3 segundos sin datos LiDAR para robótica y realidad aumentada.Leer análisis completo
Desliza para descubrir las 16 lecturas.16 artículos relacionados