Together AI presentó Llama-3-Turbo, una suite de infraestructura de inferencia de vanguardia basada en los modelos de código abierto Llama 3.1 y 3.3 que rompe las barreras de velocidad de procesamiento al alcanzar velocidades de generación sostenidas superiores a los 200 tokens por segundo, con latencias de primer token (Time-to-First-Token) inferiores a los 90 milisegundos. Mediante el desarrollo de kernels personalizados en CUDA optimizados con FlashAttention-3, decodificación especulativa acelerada por hardware y técnicas avanzadas de paralelismo de tensores sin pérdida de precisión numérica, Together AI proporciona a los desarrolladores la plataforma idónea para agentes conversacionales de voz en tiempo real y cadenas agénticas complejas donde cada segundo de latencia afecta críticamente la experiencia del usuario.
Capítulo 01
La noticia en una frase
Together AI introduce Llama-3-Turbo, motor de inferencia que supera los 200 tokens/s con latencia de primer token sub-90ms para agentes en tiempo real.
En pruebas de carga con miles de solicitudes concurrentes, el motor de Together AI mantuvo una velocidad constante de 214 tokens/s en Llama 3.1 70B, triplicando la velocidad de despliegues convencionales en vLLM.
Capítulo 02
