Microsoft crea empresas sintéticas para evaluar Copilot: qué puede medir y qué no
Microsoft Research describió el 30 de octubre de 2026 una plataforma interna que crea empresas simuladas para evaluar Microsoft Copilot sin utilizar datos de clientes. Los entornos incluyen usuarios, documentos, reuniones y comunicaciones ficticias, apoyados en información pública sobre ocupaciones, empresas y actividades de trabajo.
La propuesta aborda un problema práctico: un asistente empresarial debe responder sobre información dispersa y procesos que cambian con el tiempo, pero usar correos o reuniones reales de clientes para preparar pruebas plantea riesgos de privacidad. Microsoft informa avances en la calidad de sus simulaciones. Eso no demuestra por sí solo que Copilot tenga una precisión determinada en todas las empresas reales.
Por qué evaluar una IA empresarial es difícil
Una pregunta de trabajo puede depender de varios documentos, mensajes y fechas. Para responder qué decidió un equipo en la última reunión, por ejemplo, un asistente debe encontrar el encuentro correcto, interpretar el contexto y distinguir una decisión final de una propuesta que fue descartada.
Una prueba genérica de preguntas y respuestas puede medir una habilidad, pero dejar fuera relaciones entre equipos, archivos contradictorios o cambios en proyectos. Una evaluación empresarial necesita representar esas dependencias y conservar una forma de comprobar cada respuesta.
Los datos reales, por otra parte, pueden incluir conversaciones privadas, información comercial y datos personales. El equipo de Microsoft presenta su solución como un intento de crear escenarios útiles para evaluación sin incorporar contenido de clientes en el proceso de generación.
Cómo construye Microsoft empresas ficticias
La plataforma Industry Evaluation Data Generation Platform crea entornos simulados que Microsoft denomina tenants: espacios organizacionales aislados con usuarios, estructuras, documentación e historial. La compañía señala que no utiliza datos reales de clientes como entrada.
Para orientar el realismo utiliza fuentes públicas, entre ellas la base estadounidense de ocupaciones O*NET, avisos de empleo y documentos presentados ante la SEC. Esas fuentes sirven para modelar roles, tamaños organizacionales y actividades; no convierten a las empresas simuladas en reproducciones de clientes reales.
Microsoft describe entornos que evolucionan con el tiempo, con secuencias de reuniones, proyectos y conversaciones. Esa dimensión permite plantear preguntas que dependen de una fecha o de cambios entre dos revisiones. La información resultante es sintética, aunque esté inspirada en señales públicas.
- Crear una organización y sus documentos ficticios usando señales públicas.
- Generar preguntas vinculadas con ese entorno y comprobar su consistencia.
- Medir la respuesta del asistente y revisar si encuentra y sintetiza la evidencia correcta.
Esquema editorial basado en Microsoft Research.
Tres sectores, distintos problemas
La publicación describe tres entornos: una organización farmacéutica con conversaciones sobre ensayos y regulaciones; un entorno de mercados de capitales con operaciones, cumplimiento y carteras; y una empresa de tecnología con planificación de desarrollo, revisión de código y lanzamientos.
La especialización importa porque una buena respuesta en una tarea genérica no asegura que el sistema entienda los términos y relaciones de una industria. Al mismo tiempo, tres escenarios no representan todas las empresas, sectores, idiomas o regulaciones. La descripción no acredita cobertura específica de organizaciones chilenas o latinoamericanas.
Una simulación farmacéutica tampoco es un ensayo clínico ni una validación de una herramienta para tratar pacientes. Es un entorno de evaluación de tareas informacionales; cualquier uso real de IA en salud requiere controles y evidencia adecuados al caso.
Preguntas generadas y revisadas
Además de crear documentos ficticios, Microsoft describe una canalización de seis etapas que parte de tareas de trabajo, selecciona las pertinentes a una industria y genera preguntas basadas en el entorno. Después las adapta para que suenen más naturales y comprueba aspectos como consistencia y duplicación.
La escala ayuda a repetir evaluaciones y observar cambios entre versiones. Sin embargo, automatizar la creación de preguntas también exige examinar sus supuestos. Si el generador y el sistema evaluado comparten puntos ciegos, ambos podrían pasar por alto errores que sí ocurren en una organización.
Un buen conjunto de evaluación necesita preguntas cuya respuesta exista, pero también casos ambiguos o sin información suficiente. En esos casos importa observar si el asistente reconoce el límite en lugar de inventar una respuesta. Este es un criterio editorial para diseñar pruebas; el anuncio no detalla una tasa global de aciertos para todos esos casos.
Qué significa la mejora de 39 %
Microsoft informa que una métrica compuesta interna de calidad de los datos sintéticos mejoró 39 % frente a su enfoque inicial de generación. También señala que algunos entornos superaron 0,9 en una escala interna de calidad. Esos números se refieren a cómo se evaluaron los entornos generados, no a una mejora de 39 % en la precisión de Copilot ni a un ahorro medido para sus clientes.
La empresa menciona dimensiones como fidelidad estructural, pertinencia contextual, realismo de comportamiento y seguridad del contenido. La publicación no aporta aquí una equivalencia validada entre esa puntuación interna y la tasa de errores en todas las empresas reales. Para interpretar mejor el resultado harían falta definiciones completas, datos de comparación y evaluaciones independientes.
La compañía dice además que el sistema pasó de una preparación manual de varios días a ejecuciones automatizadas y que los conjuntos se comparten en un catálogo interno. Eso describe su proceso; no demuestra que clientes externos puedan acceder libremente a la plataforma ni que obtengan los mismos ahorros.
Privacidad: qué protege y qué queda abierto
Microsoft sostiene que los entornos son sintéticos y que revisa seguridad de contenido, procedencia y uso de fuentes públicas. La ventaja propuesta es no necesitar datos de clientes para generar el escenario de pruebas descrito. Es una afirmación del proveedor sobre su sistema de evaluación, no una certificación independiente de todas las implementaciones de Copilot.
Un dato sintético tampoco debe considerarse seguro solo por su etiqueta. Es razonable preguntar de qué fuentes procede, si puede reproducir información identificable, cómo se valida y quién puede acceder al resultado. Esas preguntas se vuelven relevantes cuando una organización decide generar sus propios conjuntos.
La prueba en una simulación y el tratamiento de datos en una cuenta empresarial son cuestiones distintas. Los permisos, la configuración del producto, los conectores y los acuerdos de cada cliente siguen siendo relevantes cuando el asistente trabaja con documentos reales.
Qué pueden aprender las empresas
Una organización que evalúa un asistente puede empezar por identificar tareas representativas y construir ejemplos ficticios que reflejen estructura, permisos y fechas. Después puede definir una respuesta esperada y registrar qué fuente debía consultar el sistema. El ejercicio sirve para organizar la revisión antes de ampliar una prueba.
Conviene incluir variaciones: documentos desactualizados, instrucciones contradictorias, acceso denegado y solicitudes con información insuficiente. Una persona revisora puede anotar errores, tiempo de corrección y resultados aceptados. Estas son recomendaciones editoriales, no un experimento realizado para esta noticia.
Antes de extender conclusiones a una operación real, la empresa necesita contrastar sus escenarios simulados con condiciones auténticas bajo controles apropiados. Un entorno limpio puede omitir interrupciones, cambios de permisos y excepciones que aparecen en el trabajo diario.
Qué falta por comprobar
No hemos accedido al catálogo interno ni ejecutado la plataforma. Microsoft no publica en el artículo una medición independiente que relacione el aumento de calidad sintética con la tasa de errores de Copilot en clientes, ni una lista de organizaciones que puedan descargar estos entornos.
El propio equipo plantea como trabajo futuro la evaluación de interacciones de varios turnos y de sistemas que ejecutan acciones. La metodología presentada es un avance en la preparación de pruebas según el proveedor, no una garantía universal de seguridad o confiabilidad.
Preguntas frecuentes
¿Microsoft usó correos reales de clientes para crear estos entornos?
La compañía afirma que no empleó datos de clientes en la canalización y que los entornos fueron generados de forma sintética.
¿El 39 % significa que Copilot es 39 % más preciso?
No. La cifra corresponde a una métrica interna de calidad de los datos sintéticos comparada con el enfoque inicial.
¿Los clientes pueden descargar la plataforma?
La publicación menciona un catálogo interno; no verificamos disponibilidad pública para clientes externos.
¿Una prueba sintética reemplaza evaluar casos reales?
No por sí sola. La relación entre resultados simulados y desempeño real debe comprobarse con controles apropiados.
