Artículo
Intercom: confianza y demostraciones
Intercom publicó el 9 de septiembre de 2026, con firma de Maia Bridi, su informe de sentimiento sobre agentes de IA. La landing declara 1.026 participantes. El blog informa preguntas repetidas antes y después de un video: opinión positiva del 49% al 74%; el 54% confiaría en tareas rutinarias, no complejas. Son percepciones declaradas. Las fuentes retenidas no permiten verificar países, reclutamiento, fechas de campo ni denominadores por pregunta; tampoco establecen un grupo de control. No se leyó el informe completo.
Qué se mide cuando una persona expresa una opinión
Para interpretar una encuesta conviene empezar por el verbo de la pregunta. Preferir, confiar, recordar y resolver describen cosas distintas. Una respuesta sobre cómo se siente alguien puede ser valiosa para diseñar una evaluación, pero no reemplaza la comprobación de qué ocurrió durante una atención concreta.
También importa qué se mostró y en qué momento. Un material de presentación forma parte del contexto de una respuesta. Si se quiere evaluar un servicio, habría que distinguir la impresión que produce una explicación de la experiencia de utilizarlo para una necesidad propia. Son preguntas que pueden convivir, siempre que no se mezclen sus conclusiones.
Una lectura crítica no exige descartar toda opinión. Exige decidir para qué sirve. Una percepción puede sugerir una inquietud que conviene investigar; un registro operativo puede mostrar un estado; una confirmación puede aportar la perspectiva de quien pidió ayuda. Ninguna de esas piezas contiene por sí sola todo lo necesario para hablar de buen servicio.
Un ejercicio de cincuenta casos, sin una prueba real
Imaginemos una mesa de soporte de una plataforma de talleres en línea. El ejercicio reúne cincuenta casos ficticios sobre acceso a contenidos. No son participantes de la encuesta ni conversaciones de Intercom. Los estados y cantidades siguientes fueron inventados para explicar denominadores: no se utilizó un bot, no se atendió a clientes y no se ejecutó una evaluación.
De esos 50 casos, el sistema imaginado marca 32 como cerrados por el bot. Dentro de esos 32, hay 18 cuya resolución confirma la persona que solicitó ayuda. Se establece expresamente esa pertenencia para poder hacer el cálculo; no se supone que los estados de un sistema y las respuestas de clientes coincidan automáticamente.
El cierre del sistema significa únicamente que el registro recibió ese estado. La confirmación propuesta requiere que la persona indique que pudo realizar la tarea por la que consultó. En el ejemplo de acceso a contenidos, recibir un mensaje con instrucciones y poder acceder al contenido son comprobaciones distintas. El criterio de resolución debe fijarse antes de revisar las respuestas.
Los casos sin confirmación no se convierten en fracasos demostrados. Puede faltar una respuesta o no existir evidencia suficiente para clasificarlos. Tampoco se declara resuelto el resto del conjunto por una persona del equipo. El ejercicio sólo contiene los hechos imaginados que se acaban de definir.
Dos denominadores producen dos preguntas diferentes
Si interesa la proporción de casos del conjunto con resolución confirmada, el cálculo es 18 dividido por 50: 36%. Si interesa la confirmación dentro de los casos que el bot marcó como cerrados, el cálculo es 18 dividido por 32: 56,25%. Ambos usan el mismo numerador, pero responden preguntas diferentes.
| Indicador propuesto | Base del cálculo | Qué permite afirmar en el ejercicio | Qué sigue sin demostrar |
|---|---|---|---|
| Cierres registrados por el bot | 32 de 50 casos. | El sistema asignó ese estado a una parte del conjunto. | Que todas esas personas resolvieran su necesidad. |
| Resolución confirmada en el conjunto | 18/50 = 36%. | Esa parte del conjunto tiene la confirmación definida. | El resultado de los casos restantes ni un efecto causal del bot. |
| Confirmación entre cierres del bot | 18/32 = 56,25%. | La confirmación dentro de ese subconjunto concreto. | Una tasa equivalente sobre todos los casos. |
| Recontacto por el mismo problema | Ventana propuesta de siete días. | Define cuándo buscar una reapertura relacionada. | Una frecuencia de recontacto: el ejercicio no aporta ese dato. |
Presentar únicamente el porcentaje mayor ocultaría su base más pequeña. Presentar únicamente el menor también dejaría fuera la pregunta sobre los cierres del sistema. La propuesta es acompañar cada cifra con su numerador, su denominador y una definición breve, de modo que otra persona pueda reconstruirla.
Un procedimiento que se puede preparar antes de evaluar
Primero se define el caso: una petición concreta de ayuda, no cada mensaje enviado durante la conversación. Si la persona vuelve por el mismo problema, se propone vincular ese recontacto al caso original. Así se evita contar una continuación como una nueva resolución sin advertirlo.
Después se fija la ventana de observación. Los siete días de la matriz son una elección didáctica, no un estándar validado ni una recomendación del estudio. Un equipo tendría que justificar su propia ventana según la necesidad que atiende y esperar a que termine antes de comparar casos con tiempos de seguimiento distintos.
En tercer lugar se conserva el conjunto inicial. No conviene limitar el denominador a quienes respondieron una pregunta final si después se va a hablar de todas las atenciones. Se propone registrar por separado quién tuvo un cierre, quién confirmó el resultado y dónde falta información. Esa separación permite revisar los datos sin rellenar los vacíos.
Finalmente, una persona revisa una muestra de registros con los criterios acordados y anota desacuerdos concretos. Si el estado de cierre contradice una nueva petición por el mismo problema, la discrepancia necesita revisión. No corresponde decidir su causa solamente porque apareció después de una interacción automatizada.
Comparar porcentajes sin fabricar una mejora
Los puntos porcentuales expresan la resta entre porcentajes; un cambio relativo compara una diferencia con el valor de partida. Antes de usar cualquiera de esas formas, los indicadores deben ser comparables. La diferencia entre 36% y 56,25% en este ejercicio no representa una mejora: cambió el denominador, no el servicio.
Comparar períodos también exige revisar si cambió la composición de los casos, la pregunta de confirmación o la ventana de seguimiento. Una cifra agregada puede ocultar que se incluyeron problemas distintos. Señalar esas diferencias es más útil que atribuir automáticamente cualquier variación a una tecnología.
Para sostener una afirmación causal haría falta un diseño que permita contrastar explicaciones alternativas. Este ejercicio no lo ofrece. Su finalidad es preparar definiciones y registros para una evaluación, manteniendo separadas las observaciones, las interpretaciones y las decisiones que todavía necesitan evidencia.
La noticia sobre Zendesk y las llamadas entre idiomas aporta contexto para distinguir comprensión y acción. La lectura sobre Shopify y la compra asistida permite discutir intención y resultado. Son noticias diferentes; sus hallazgos no se trasladan a este conjunto ficticio.
Preguntas frecuentes
¿Cuál de los dos porcentajes debería mostrarse?
El que responda a la pregunta planteada, con su base visible. Si se muestran ambos, deben conservar sus etiquetas para que nadie interprete el cambio de denominador como una diferencia de desempeño.
¿Un caso sin respuesta final cuenta como no resuelto?
En la propuesta queda sin confirmación. Afirmar que fracasó requiere evidencia adicional; afirmar que se resolvió también. Mantener esa categoría evita convertir una ausencia de información en un resultado.
¿Qué aporta definir una ventana de recontacto?
Permite revisar los casos con una oportunidad de seguimiento comparable. No dice cuántas personas volverán ni demuestra que cualquier nueva consulta corresponda al mismo problema.
¿Este ejercicio permite elegir un proveedor?
No por sí solo. Ayuda a preparar preguntas y criterios verificables. Una decisión de contratación necesitaría evidencia pertinente al servicio, a sus condiciones y a la evaluación que realmente se realice.
En la Comunidad IA puedes discutir cómo definir indicadores de atención con bases claras, usando ejercicios ficticios antes de interpretar resultados reales.
