Property Finder detecta sesgo al comparar modelos de visión
Comparar modelos de IA exige una referencia fiable. Si las respuestas esperadas fueron producidas por el sistema que ya está en uso, una alternativa puede parecer peor simplemente porque discrepa de ese sistema. AWS y Property Finder publicaron el 27 de octubre de 2026 un caso que muestra cómo ese problema afectó la evaluación de imágenes inmobiliarias.
En el artículo escrito por integrantes de ambas organizaciones, el equipo describe nuevas anotaciones, ajustes de instrucciones y una comparación de costo. Los resultados corresponden a sus datos y condiciones; no son una auditoría independiente ni una clasificación universal de modelos.
El problema: una respuesta esperada circular
Según el caso, el 96,8% de las etiquetas del conjunto original provenía directamente de predicciones del modelo existente, sin verificación independiente de expertos. La evaluación favorecía la coincidencia con ese modelo en lugar de medir necesariamente la corrección. La fuente también describe errores en texto de marcas de agua y categorías que no correspondían a la especificación.
Una etiqueta es la respuesta que se utiliza para puntuar una predicción. Si la referencia contiene el mismo sesgo que el sistema evaluado, una nueva herramienta puede ser penalizada por corregirlo. Eso no significa que toda etiqueta automática sea inútil: significa que su origen y sus límites deben ser conocidos antes de usarla como criterio definitivo.
El caso es relevante para cualquier equipo que compare salidas de IA: conservar la procedencia de las etiquetas, revisar desacuerdos y medir errores en datos nuevos ayuda a evitar confundir semejanza con calidad. Esta es una recomendación editorial; el artículo no demuestra que la misma proporción de etiquetas heredadas exista en otras empresas.
Cómo construyeron una nueva referencia
El equipo anotó 356 imágenes de Emiratos Árabes Unidos con apoyo experto. Las primeras 256 formaron el conjunto de desarrollo para ajustar instrucciones; luego añadieron 100 para la evaluación final. También mencionan una comprobación regional con 230 imágenes de Egipto, cuyos resultados no se publican en el artículo.
El conjunto final de 356 incluye las 256 imágenes usadas durante el desarrollo. Los propios autores advierten que la comparación final es optimista: no equivale a una evaluación completamente independiente del ajuste. Una prueba posterior debería reservar datos sin uso durante el diseño y describir su origen, fecha y distribución.
Los autores señalan además que las categorías poco frecuentes tienen menos ejemplos, por lo que diferencias pequeñas pueden ser difíciles de detectar. Una cifra global no debe ocultar dónde falla el sistema, especialmente cuando los errores afectan a categorías que aparecen rara vez.
De una etiqueta a varias por imagen
Las imágenes inmobiliarias pueden mostrar más de un espacio a la vez. El artículo describe el cambio de algunas tareas desde una etiqueta única a varias etiquetas por imagen. Con ese criterio, una imagen que muestra dos habitaciones puede evaluarse sin obligar al sistema a elegir una sola categoría.
El equipo utilizó micro-F1 como métrica principal y también informó macro-F1 y medidas por etiqueta. Micro-F1 agrega predicciones y puede estar dominado por categorías frecuentes; macro-F1 ayuda a examinar el comportamiento entre categorías. Para atributos con una sola respuesta, la fuente también presenta exactitud de coincidencia.
Elegir una métrica implica definir qué error importa. Si una categoría rara tiene consecuencias comerciales importantes, un promedio atractivo podría no bastar. El equipo que adopte una herramienta debe acordar qué discrepancias requieren revisión humana y conservar ejemplos para entenderlas, no solo mirar el primer número de una tabla.
El resultado y sus condiciones
Con el prompt final y la nueva referencia, AWS y Property Finder reportan micro-F1 de 0,80 para Llama 4 Maverick 17B Instruct y 0,56 para el modelo propietario de referencia en las 356 imágenes. La comparación es parte del caso y está sujeta a la superposición entre desarrollo y evaluación que los autores reconocen.
Además, los prompts no recibieron el mismo esfuerzo: la fuente dice que el modelo propietario tuvo una ronda de ajuste y Llama varias, más reglas añadidas por Property Finder. El resultado combina elección de modelo, instrucciones y proceso de evaluación; no permite atribuir toda la diferencia a la arquitectura del modelo.
El artículo también estima 2,35 dólares por mil imágenes y una reducción de costo del 86% frente a la configuración anterior. Son estimaciones de diciembre de 2025 para Ohio, con supuestos de tokens concretos. Los autores advierten que el cálculo de costo del sistema anterior usó una versión de prompt distinta de la comparación de exactitud, por lo que los valores no deben tratarse como una factura actual ni una comparación idéntica en todas sus condiciones.
Qué puede aplicar otro equipo
El primer paso útil es revisar cómo se crearon las respuestas esperadas. Puede haber etiquetas humanas, salidas de un modelo o una combinación. Cuando existen desacuerdos, conviene registrar quién decide y por qué, especialmente en ejemplos ambiguos. La referencia debe poder corregirse sin ocultar su historial.
Después, separa datos para desarrollar instrucciones de datos reservados para la evaluación final. Documenta el esfuerzo dedicado a cada alternativa y compara versiones estables. Si se cambian a la vez el modelo, las etiquetas y el prompt, una mejora puede ser real para el flujo completo sin revelar cuál cambio la produjo.
La guía de gestión de riesgos de IA del NIST aporta contexto para medir y gestionar riesgos durante el ciclo de vida. No certifica el sistema de Property Finder ni valida sus resultados. Para una decisión comercial también importan tiempos, revisión humana y errores posteriores al despliegue; ninguno se resuelve solo con un benchmark.
Preguntas frecuentes
¿El 96,8% mide la tasa de error del modelo?
No. La fuente dice que esa proporción de etiquetas originales procedía de predicciones del modelo existente; no es una tasa de error.
¿Las 356 imágenes son una prueba completamente independiente?
No. Incluyen las 256 usadas para desarrollar los prompts; los autores califican la comparación final como optimista.
¿El 86% es el ahorro actual para cualquier empresa?
No. Es una estimación del caso con precios y supuestos históricos, frente a una configuración anterior concreta.
¿Se repitió el experimento?
No. Este reportaje examina la información pública; no accedimos a las imágenes ni ejecutamos los modelos.
