Investigadores de UC Berkeley, Georgia Tech y Microsoft presentaron Sarathi-Serve, un sistema de servicio de modelos de lenguaje que introduce chunked-prefill y canalización de decodificación (decode pipelining), mitigando la interferencia entre solicitudes largas y cortas para maximizar el throughput en clusters de GPU.
La noticia en una frase
UC Berkeley y Georgia Tech presentaron Sarathi-Serve, un planificador de inferencia que triplica el throughput de LLMs al fragmentar prompts densos y solapar prefill con generación de tokens.
El alcance que cambia la lectura
En el servicio concurrente de modelos de lenguaje, procesar la fase de prefill de un documento extenso bloquea temporalmente la emisión de tokens de las peticiones en fase de decodificación, provocando picos inaceptables de latencia por token (Time-Between-Tokens, TBT).
