KDDI evalúa respuestas RAG con apoyo documental

Consultar una biblioteca sin perder la fuente

Google Cloud publicó el 8 de septiembre de 2026 un caso sobre Buffmee, servicio de KDDI que utiliza RAG para consultar libros, revistas y contenidos web. Lo firman Junichi Kashino, de KDDI, y Miki Katsuragi, de Google Cloud Japan. Esa fecha corresponde a la publicación, no al lanzamiento exacto del producto.

Los autores reportan 38% menos latencia total y cerca de 18% de mejora en tiempo hasta el primer token. Describen evaluación con calibración humana, análisis de registros y división funcional de prompts mediante ADK.

Para una editorial, el interés de una experiencia así está en ayudar al lector a encontrar una respuesta que conserve su relación con lo publicado. Responder pronto y responder con apoyo documental plantean dos preguntas distintas. El caso permite explorar cómo observar ambas sin convertir una mejora de velocidad en una afirmación de mayor exactitud.

Fuente: caso de KDDI y Google Cloud, 8 de septiembre de 2026.

El recorrido de una pregunta editorial

Imaginemos una editorial ficticia que ofrece consultas sobre su archivo. Un lector pregunta por qué una empresa entrevistada cambió el envase de un producto. El ejemplo es hipotético y no corresponde a una función observada en Buffmee. La tarea comienza por localizar material pertinente entre publicaciones que pueden tener títulos, autores y fechas diferentes.

La recuperación debería encontrar el pasaje que explica esa decisión, no solo una página que menciona el producto. Supongamos que la entrevista atribuye el cambio a un problema de suministro. Ese sería el apoyo documental de una respuesta limitada a lo que explica la persona entrevistada.

La respuesta final tendría que conservar esa atribución y permitir abrir el pasaje. Si añade una explicación sobre preferencias de consumidores que el texto no presenta, ya está incorporando una inferencia. Aunque resulte plausible, el lector necesita poder distinguirla de la evidencia recuperada.

Encontrar un pasaje no resuelve toda la respuesta

El mismo archivo ficticio podría contener otra publicación sobre cambios de envase en el sector. Recuperar ambos textos puede ayudar a explorar el tema, pero también puede mezclar las razones de empresas distintas. El criterio útil es si cada afirmación de la respuesta encuentra apoyo en el documento y el contexto que le corresponden.

La revisión humana del ejemplo examinaría precisamente ese vínculo. Podría aceptar una respuesta breve que reconoce un límite y rechazar otra más completa que une explicaciones sin sustento. La decisión requiere conocer qué pregunta intenta resolver el lector y cuánto permite afirmar el material disponible.

Si el archivo no contiene el motivo del cambio, la respuesta puede indicar que esa información no aparece en los pasajes encontrados. Esa salida conserva una diferencia importante para un producto editorial: que la búsqueda no haya localizado una explicación no prueba que tal explicación no exista.

Dos dimensiones que conviene observar por separado

Una evaluación puede describir la espera y el apoyo documental sin reducirlos a una sola nota. La tabla propone observaciones para el archivo hipotético; no aporta resultados propios ni reproduce una medición del servicio. Sirve para decidir qué pregunta responde cada señal antes de interpretar un porcentaje.

Qué cambia cuando empieza a aparecer texto

El primer texto visible y la respuesta completa marcan momentos diferentes de una consulta. En el ejemplo, el lector podría ver una introducción antes de que aparezcan los pasajes y enlaces necesarios para revisar la explicación. El inicio de la salida no demuestra que la respuesta útil ya esté disponible.

Al observar el recorrido convendría distinguir la localización de documentos, la preparación del contexto y la elaboración de la respuesta. Si una fase concentra la espera, intervenir en otra puede cambiar poco la experiencia. Esa lectura por etapas permite formular una hipótesis concreta sin atribuir todo el tiempo al modelo.

Los registros ayudarían a contrastar esa hipótesis con el recorrido de preguntas comparables. La interpretación todavía exige revisar qué tareas se incluyeron y qué cambió entre versiones. Un resultado agregado puede ocultar que una consulta sencilla mejora mientras otra, que necesita relacionar publicaciones, sigue tardando demasiado.

Evaluar diversidad sin confundirla con garantía

En la editorial ficticia, una entrevista en texto y un reportaje con gráficos presentan dificultades diferentes. Una revisión que utiliza únicamente preguntas fáciles de localizar puede dejar sin observar errores de contexto o de lectura. Diseñar ejemplos diversos ayuda a descubrir dónde falla la experiencia que se quiere ofrecer.

La calibración humana tendría un papel concreto: contrastar la puntuación automática con respuestas que un editor considera aceptables o defectuosas. Si ambos juicios discrepan, el equipo necesita entender el motivo antes de usar la puntuación para decidir una entrega. Automatizar la evaluación no elimina esa responsabilidad.

La organización de las instrucciones también puede examinarse según su función. En el ejemplo, localizar un pasaje y redactar una explicación tienen objetivos distintos. Separarlos permitiría preguntar qué información necesita cada paso y qué errores introduce una transición. Es una propuesta conceptual, sin presuponer una API o una implementación técnica determinada.

Lo que todavía falta para comparar resultados

Los porcentajes reportados no incluyen aquí latencias absolutas, tamaño de muestra ni verificación independiente. Tampoco establecen ahorro monetario ni una garantía de respuestas sin errores. Para compararlos haría falta saber qué se midió y qué conjunto de preguntas sostiene la comparación.

La pregunta para un producto editorial puede mantenerse concreta: ¿el lector recibe antes una respuesta que puede comprobar? A veces la mejora estará en la espera; otras, en encontrar mejor el pasaje o en reconocer una información ausente. Distinguir esos resultados permite decidir qué conviene mejorar después.

Lleva a la Comunidad una pregunta que tu archivo debería poder responder y el tipo de pasaje que la sostendría. Ese pequeño recorrido ayuda a discutir la utilidad de la experiencia antes de atribuirle capacidades que todavía no se han observado.

Participar en la Comunidad gratuita