Baichuan Inc. presentó oficialmente Baichuan-Omni, un modelo multimodal de código abierto de 7.000 millones de parámetros diseñado para procesar, comprender e interactuar simultáneamente a través de flujos continuos de voz, video y texto en tiempo real. Frente a las arquitecturas tradicionales que encadenan modelos de reconocimiento de voz (ASR), modelos de lenguaje (LLM) y motores de síntesis (TTS) acumulando retrasos de varios segundos, Baichuan-Omni fusiona la percepción acústica y visual directamente en el espacio de representación del modelo con una latencia de interacción voz a voz inferior a 400 milisegundos. Esta capacidad sitúa al desarrollo como una de las primeras alternativas de pesos abiertos capaces de rivalizar con la fluidez conversacional de GPT-4o Voice en dispositivos y centros de datos privados.
Capítulo 01
La noticia en una frase
Baichuan presenta Baichuan-Omni, modelo de 7B para comprensión multimodal simultánea de video y voz con latencia de 400 ms e interacción natural.
El sistema elimina la fragmentación entre visión y habla mediante una codificación unificada de tokens acústicos y visuales proyectados en tiempo real hacia su núcleo de lenguaje.
Capítulo 02
