Artículo
RCP: evaluar relevancia con criterio
Cohere presentó RCP-nDCG@10 el 30 de septiembre de 2026, en un artículo de Cohere Team. El método combina una rúbrica común y comparaciones entre documentos para evaluar relevancia. Su estudio ciego incluyó deliberadamente más casos de desacuerdo entre métricas. Es investigación del proveedor, no validación independiente; aquí no leímos el paper ni replicamos pruebas.
Para quien busca información en una organización, el problema es cotidiano: una lista puede contener documentos relacionados con el tema y, aun así, dejar lejos la respuesta necesaria. Evaluar una búsqueda exige explicar qué documento ayuda, para qué pregunta y por qué merece aparecer antes. Podemos practicar esa decisión sin convertir una impresión en una medición.
1. Definir la necesidad antes de mirar los resultados
La cooperativa Huerto de Barrio es ficticia. Sus integrantes preparan un taller de compostaje y quieren responder una consulta: qué materiales debe llevar cada participante a la edición vigente. Elena coordina la actividad y Marcos organiza los documentos. Ninguno ha ejecutado un buscador para este ejercicio; las listas y las fichas siguientes son inventadas.
La consulta tiene un propósito concreto. No pide aprender todo sobre compostaje ni encontrar el documento que repita más veces esa palabra. Necesita una indicación aplicable al taller que se está preparando. Esa diferencia permite excluir una respuesta extensa que sea interesante, pero no resuelva la necesidad de quien pregunta.
Antes de revisar las listas, Elena fija tres criterios: el documento corresponde a la edición vigente, explica qué debe llevar la persona y permite identificar su procedencia. Estos criterios se escriben de antemano para evitar cambiarlos después de conocer la lista preferida. No son una fórmula oficial ni una implementación del método anunciado.
También define una condición de aceptación: otra persona debe poder localizar la indicación y entender a qué actividad corresponde. El documento no tiene que resolver todas las preguntas posibles. Debe aportar respaldo pertinente para esta decisión específica, dejando visibles las dudas que continúen abiertas.
2. Separar un documento útil de una afirmación verdadera
La relevancia describe la relación entre un documento y una consulta. Una ficha sobre el taller puede ser pertinente aunque contenga un dato equivocado. A la inversa, una explicación correcta sobre procesos biológicos puede no indicar qué debe llevar cada participante. Son preguntas diferentes: si el documento ayuda a responder y si aquello que afirma está comprobado.
En el ejercicio, una ficha podría indicar que se debe llevar un recipiente, pero pertenecer a una actividad cancelada. Haber encontrado una indicación explícita no basta para reutilizarla. Marcos necesitaría confirmar su vigencia con quien coordina el taller antes de convertirla en información para participantes.
Esta separación evita aprobar una respuesta sólo porque incluye un enlace. El enlace permite examinar una evidencia; todavía hay que revisar si se refiere al mismo evento y si respalda la afirmación concreta. Encontrar material pertinente es un paso del trabajo, con una comprobación posterior que no debe quedar implícita.
Por eso conviene anotar dos decisiones distintas. Una registra si el documento merece revisión para la consulta. La otra indica si su contenido ya puede usarse. Mantenerlas separadas permite conservar una pista útil sin presentarla prematuramente como una instrucción confirmada.
3. Comparar dos listas con el mismo criterio
Para la práctica, el equipo prepara cuatro fichas imaginarias. No representan documentos reales, resultados de IA ni un experimento realizado. La tabla organiza qué aporta cada una y qué faltaría comprobar antes de usarla.
| Ficha inventada | Contenido disponible | Utilidad para la consulta | Comprobación pendiente |
|---|---|---|---|
| A: ficha de la edición vigente | Identifica el taller y contiene una sección de materiales personales. | Permite localizar una respuesta directa. | Confirmar que la coordinación aprobó esa versión. |
| B: guía general | Describe conceptos de compostaje, sin una lista para participantes. | Aporta contexto, pero no resuelve el encargo. | Precisar si alguna parte es necesaria para explicar la respuesta. |
| C: ficha de una edición anterior | Contiene materiales y el nombre de una actividad pasada. | Ofrece una pista que podría estar desactualizada. | Comprobar qué indicaciones siguen vigentes. |
| D: nota de coordinación | Identifica la edición y a la persona que revisará los materiales. | Ayuda a encontrar al responsable de confirmar la ficha. | Obtener la confirmación; la nota no contiene la lista solicitada. |
La lista Azul coloca primero C, después B y finalmente A. La lista Verde coloca primero A, después D y finalmente B. No son salidas de dos modelos: son órdenes propuestos para discutir el efecto de la posición y de los documentos incluidos.
Con los criterios acordados, Elena empezaría la revisión por Verde porque la ficha que parece responder directamente está al comienzo. Eso no demuestra que toda búsqueda ordenada de esa manera sea mejor. Expresa una decisión razonada para este encargo, pendiente de comprobar la versión de A. Azul también contiene esa ficha, pero exige avanzar más para encontrarla.
4. No convertir una casilla vacía en un rechazo
Supongamos que la hoja de revisión inicial sólo tenía anotaciones sobre A y B. La ficha D apareció después y no recibió ninguna evaluación. Una casilla vacía no informa si ayuda o estorba: informa que falta una decisión. Clasificarla directamente como inútil añadiría una conclusión que nadie ha justificado.
Marcos puede conservar tres estados escritos con palabras: ayuda a esta consulta, no la resuelve y pendiente de revisión. El último estado necesita una tarea concreta, como leer la nota o confirmar a qué edición se refiere. No debe desaparecer al resumir la evaluación.
Esto también cambia cómo se interpreta una comparación. Si Azul y Verde contienen fichas pendientes distintas, afirmar que una gana exige resolver esas diferencias o explicar qué parte se dejó fuera. Una lista puede parecer peor porque alguien revisó menos sus documentos, no porque sus documentos sean necesariamente menos útiles.
Para continuar el ejercicio, entrega las fichas a otra persona sin mostrarle el nombre ni el orden de las listas. Pídele que explique qué criterio cumple cada una. Después comparen los motivos. Si discrepan, registren la diferencia y revisen la definición del criterio antes de forzar un acuerdo.
5. Guardar una comparación que pueda revisarse
El registro mínimo reúne la consulta, las versiones de las fichas, los criterios y el motivo de cada decisión. También conserva los pendientes. Así, si coordinación corrige A, el equipo podrá identificar qué conclusión debe revisar. Guardar sólo el nombre de la lista elegida perdería esa explicación.
La práctica no necesita una puntuación inventada. Puede terminar con una conclusión acotada: empezar por una ficha pertinente, comprobar su vigencia y consultar al responsable indicado. Si después se evalúan otras preguntas, habrá que explicar qué cambió y cuáles mantienen los mismos requisitos.
Como contexto, la noticia sobre Rerank 5 y Context Focus permite distinguir una novedad de producto de la decisión sobre cómo revisarlo. La lectura de CALIBER y la revisión de respuestas ayuda a formular otra pregunta: qué respaldo necesitamos antes de aceptar una afirmación. Estos enlaces no aportan resultados al ejercicio inventado.
Fuente: Cohere.
6. Preguntas frecuentes
¿Un documento largo debe aparecer primero?
La extensión no responde por sí sola a la necesidad. Una ficha breve con la indicación vigente puede ser más útil que una guía extensa. Explica qué parte ayuda a resolver la consulta y qué debe comprobarse antes de usarla.
¿Qué hago con un resultado que nadie revisó?
Consérvalo como pendiente, con una tarea y un responsable. No lo mezcles con los resultados descartados. Si puede cambiar la comparación, resuelve ese pendiente o declara expresamente que tu conclusión todavía es parcial.
¿Dos revisores tienen que pensar igual?
No. Su desacuerdo puede revelar un criterio ambiguo o evidencia insuficiente. Comparar sus razones ayuda más que ocultar la diferencia. Para este ejercicio, deben aclarar qué relación exige cada criterio antes de decidir si una ficha lo cumple.
¿Encontrar el documento resuelve la respuesta?
Permite comenzar su comprobación. Todavía hay que confirmar que respalda el dato y que corresponde a la versión o actividad relevante. Puedes aceptar una pista para revisarla sin aprobar todavía su contenido para difundirlo.
Comparte en la Comunidad IA una consulta inventada y los criterios con que revisarías sus documentos. Practica con materiales ficticios y deja fuera información privada de tu organización.
