Ir al contenido

Medir antes de vender: el banco de pruebas de mis IA

Un examen fijado antes del entrenamiento, una máquina que no elige a su ganador, veredictos escritos.
16 de noviembre de 2026 por
Medir antes de vender: el banco de pruebas de mis IA
Federico Solutions, Myrko Federico

Medir antes de vender: el banco de pruebas de mis IA

Ámbito: visión por computadora, entrenamiento y evaluación de modelos

Periodo: de agosto a septiembre de 2026

Cliente: proyecto interno, mis propias empresas (Lab 77, I+D)

Un modelo de detección siempre produce una respuesta. La única pregunta que importa antes de venderlo es: ¿cuántos se le escapan y cuántos se inventa? Para responder con honestidad, construí un taller donde el examen se fija antes del entrenamiento y donde la máquina no elige a su propio ganador. Este es el método, y las preguntas que saco de él para cualquier directivo al que le ofrecen una IA.

Contexto

Para mi plataforma de imágenes aéreas necesito modelos que detecten grietas, óxido, árboles o vehículos en fotos. Algunos provienen de proyectos libres, otros los entrené yo mismo; las licencias se tratan en un artículo dedicado. En agosto de 2026, una semana de entrenamientos produjo numerosos fallos, casi todos ya conocidos: las lecciones vivían en notas, no en las herramientas. Lo convertí en un taller genérico, donde cada fallo se vuelve una salvaguarda programada.

Problema

  • Un modelo que funciona no es un modelo que dice la verdad: responde en cada imagen con el mismo aplomo, acierte o no.
  • El examen puede amañarse sin querer: imágenes de prueba demasiado parecidas a las del aprendizaje, un criterio elegido a posteriori, y el modelo parece mejor de lo que es.
  • El azar fabrica ganadores: comparar treinta versiones de un modelo son treinta ocasiones de encontrar una que acierta por suerte.
  • La memoria se pierde: archivé cuatro modelos de los que nadie podía decir por qué no se habían conservado; nunca habían sido evaluados.

El método

1. Escribir el criterio de éxito antes de conocer el resultado

Cada campaña empieza con ocho preguntas en lenguaje corriente, entre ellas esta: ¿qué sería inaceptable, aunque todo lo demás mejore? La respuesta es un límite: un candidato que lo cruza se rechaza, sean cuales sean sus demás cifras. Otra pregunta obliga a cambiar una sola cosa a la vez; si no, nadie sabe qué movió el resultado.

2. Sellar el examen antes de reunir las imágenes de aprendizaje

El protocolo tiene dieciséis etapas, y cada una se niega a arrancar sin el sello de la anterior. Las imágenes del examen se sellan con una huella digital antes de reunir el corpus de aprendizaje, y después se demuestra que este no contiene ninguna. Hay dos exámenes: uno para elegir y un segundo, abierto una sola vez, para confirmar. El examen pasa por el motor real de producción: un banco que mide de otra forma que la producción acaba midiendo otra cosa.

3. Quitarle a la máquina el derecho a elegir

Todas las versiones producidas durante el entrenamiento se conservan y el examen decide después: dos veces, una fórmula automática había designado la primerísima, apenas entrenada. El cálculo final tiene en cuenta el número de candidatos comparados. Y «nos quedamos con lo que tenemos» es un resultado válido: una campaña terminó con todos sus candidatos rechazados, lo que evitó sustituir un modelo que funciona por uno peor.

4. Un juez que aconseja, personas que deciden

Un modelo de visión más amplio revisa las detecciones: sí, no o incierto. Una respuesta ilegible sigue siendo ilegible, nunca un sí por defecto: un juez que adivina fabrica confianza. No valida nada por sí solo. Cuando la respuesta correcta se establece a mano, dos lecturas independientes se sellan antes de compararlas, y las cifras del modelo se revelan al final. También puedo dejar una foto en un espacio de prueba y ver lo que haría la producción. Nada entra en servicio sin mi decisión.

5. Una ficha de identidad, también para los modelos retirados

Cada modelo tiene una ficha vinculada a la huella de su archivo: estado, examen, control humano, licencias y, sobre todo, lo que no se ha medido. RT-DETR, un detector libre reconocido que usaba para los vehículos, fue retirado: visto desde arriba no veía nada, y en vista oblicua confundía techos con camiones. Su ficha se conserva, para saber qué se retiró y por qué.

Resultado

Cada modelo del catálogo lleva un veredicto escrito y sus límites, incluidas las condiciones en las que aún no se ha medido. Es esta ficha, más que una cifra aislada, la que dice dónde puede usarse un modelo y dónde no.

Lo que me llevo

  • Un modelo solo se puede vender si se sabe cuántos se le escapan. Pida a su proveedor dos cifras, no una: la proporción de objetos reales encontrados (la exhaustividad, en inglés «recall») y la proporción de detecciones correctas (la precisión).
  • Pregunte cuándo se fijó el examen. ¿Antes o después del entrenamiento? ¿Con imágenes como las suyas, o con un conjunto de demostración? ¿Quién eligió la versión entregada?
  • Pida el peor caso, no solo el promedio. Y qué hace el modelo cuando no sabe.
  • Pregunte qué no se ha probado. Un proveedor serio tiene la respuesta por escrito.
  • La ausencia de etiqueta no es ausencia de objeto. Unas «falsas detecciones» contadas en un conjunto público resultaron ser, a simple vista, óxido real que nadie había anotado.
  • Medir una vez y entregar. Tras dos semanas de bancos sucesivos, medir se había vuelto un fin en sí mismo. Ahora: un modelo, un examen sellado, una ficha firmada.

Para ir más lejos

¿Le ofrecen una IA de detección y quiere saber cuánto vale realmente con sus imágenes? Le ayudo a hacer las preguntas correctas, o a construir su propio banco de pruebas. Consulte la IA soberana, o reserve una llamada de descubrimiento de 20 minutos.

Fuentes

Etiquetas: inteligencia artificial, visión por computadora, evaluación de modelos, precisión, exhaustividad, banco de pruebas, compra de IA

Mejorar un software libre sin reescribirlo: NOMAD
Cómo amplié en gran medida Project NOMAD manteniendo mis añadidos aparte, para poder seguir a su autor.