Se rendre au contenu

Mesurer avant de vendre : le banc d'essai de mes IA

Un examen fixé avant l'entraînement, une machine qui ne choisit pas son gagnant, des verdicts écrits.
16 novembre 2026 par
Mesurer avant de vendre : le banc d'essai de mes IA
Federico Solutions, Myrko Federico

Mesurer avant de vendre : le banc d'essai de mes IA

Domaine : vision par ordinateur, entraînement et évaluation de modèles

Période : août à septembre 2026

Client : projet interne, mes propres sociétés (Lab 77, R&D)

Un modèle de détection produit toujours une réponse. La seule question qui compte pour le vendre est : combien en rate-t-il, et combien en invente-t-il ? Pour y répondre honnêtement, j'ai construit un atelier où l'examen est fixé avant l'entraînement et où la machine ne choisit pas son propre gagnant. Voici la démarche, et les questions que j'en tire pour tout dirigeant à qui l'on propose une IA.

Contexte

Pour ma plateforme d'images aériennes, j'ai besoin de modèles qui repèrent des fissures, de la rouille, des arbres ou des véhicules sur des photos. Certains sont repris de projets libres, d'autres entraînés par mes soins ; les licences sont traitées dans un article dédié. En août 2026, une semaine d'entraînements a produit de nombreuses pannes, presque toutes déjà connues : les leçons vivaient dans des notes, pas dans les outils. J'en ai fait un atelier générique, où chaque panne devient un garde-fou codé.

Problème

  • Un modèle qui tourne n'est pas un modèle qui dit vrai : il répond sur chaque image avec le même aplomb, juste ou faux.
  • L'examen peut être truqué sans le vouloir : images de test trop proches de l'apprentissage, critère choisi après coup, et le modèle paraît meilleur qu'il ne l'est.
  • Le hasard fabrique des gagnants : comparer trente versions d'un modèle, c'est trente occasions d'en trouver une qui réussit par chance.
  • La mémoire se perd : j'ai archivé quatre modèles dont personne ne pouvait dire pourquoi ils n'avaient pas été retenus ; ils n'avaient jamais été jugés.

La démarche

1. Écrire le critère de réussite avant de connaître le résultat

Chaque campagne commence par huit questions en langage courant, dont celle-ci : qu'est-ce qui serait inacceptable, même si tout le reste s'améliore ? La réponse est un cap : un candidat qui le franchit est refusé, quels que soient ses autres chiffres. Une autre impose de ne changer qu'une chose à la fois, sinon personne ne sait ce qui a fait bouger le résultat.

2. Sceller l'examen avant de réunir les images d'apprentissage

Le protocole compte seize étapes, et chacune refuse de démarrer sans le tampon de la précédente. Les images d'examen sont scellées par une empreinte numérique avant de constituer le corpus d'apprentissage, dont on prouve ensuite qu'il n'en contient aucune. Il y a deux examens : un pour choisir, un second, ouvert une seule fois, pour confirmer. L'examen passe par le vrai moteur de production : un banc qui mesure autrement que la production finit par mesurer autre chose.

3. Retirer à la machine le droit de choisir

Toutes les versions produites pendant l'entraînement sont gardées et l'examen tranche après coup : deux fois, une formule automatique avait désigné la toute première, à peine dégrossie. Le calcul final tient compte du nombre de candidats comparés. Et « on garde ce qu'on a » est un résultat valable : une campagne a fini avec tous ses candidats refusés, ce qui a évité de remplacer un modèle qui marche par un moins bon.

4. Un juge qui conseille, des humains qui tranchent

Un modèle de vision plus large relit les détections : oui, non ou incertain. Une réponse illisible reste illisible, jamais un oui par défaut : un juge qui devine fabrique de la confiance. Il ne valide rien seul. Quand la bonne réponse s'établit à la main, deux lectures indépendantes sont scellées avant comparaison, et les chiffres du modèle révélés en dernier. Je peux aussi déposer une photo dans un bac d'essai et voir ce que la production ferait. Rien n'est mis en service sans ma décision.

5. Une fiche d'identité, y compris pour les modèles retirés

Chaque modèle a une fiche liée à l'empreinte de son fichier : statut, examen, contrôle humain, licences, et surtout ce qui n'a pas été mesuré. RT-DETR, un détecteur libre réputé que j'utilisais pour les véhicules, a été retiré : vu du dessus, il ne voyait rien, et en vue oblique il prenait des toits pour des camions. Sa fiche reste, pour qu'on sache ce qu'on a retiré et pourquoi.

Résultat

Chaque modèle du catalogue porte un verdict écrit et ses limites, y compris les conditions dans lesquelles il n'a pas encore été mesuré. C'est cette fiche, plus qu'un chiffre isolé, qui dit où un modèle peut servir et où il ne doit pas.

Ce que j'en retiens

  • Un modèle n'est vendable que si l'on sait combien il en rate. Demandez à votre fournisseur deux chiffres, pas un : la part des vrais objets trouvés (le rappel) et la part des détections justes (la précision).
  • Demandez quand l'examen a été fixé. Avant ou après l'entraînement ? Sur des images comme les vôtres, ou sur un jeu de démonstration ? Qui a choisi la version livrée ?
  • Demandez le pire cas, pas seulement la moyenne. Et ce que fait le modèle quand il ne sait pas.
  • Demandez ce qui n'a pas été testé. Un fournisseur sérieux a la réponse écrite.
  • Une absence d'étiquette n'est pas une absence d'objet. Des « fausses détections » comptées sur un jeu public se sont révélées, à l'œil, être de la vraie rouille non annotée.
  • Mesurer une fois, puis livrer. Après deux semaines de bancs successifs, la mesure était devenue une fin en soi. Désormais : un modèle, un examen scellé, une fiche signée.

Pour aller plus loin

On vous propose une IA de détection et vous voulez savoir ce qu'elle vaut sur vos images ? Je vous aide à poser les bonnes questions, ou à construire votre banc d'essai. Voyez l'IA souveraine, ou réservez un appel découverte de 20 minutes.

Sources

Tags : intelligence artificielle, vision par ordinateur, évaluation de modèles, précision, rappel, banc d'essai, achat d'IA

# IA R&D
Améliorer un logiciel libre sans le réécrire : NOMAD
Comment j'ai largement complété Project NOMAD en gardant mes ajouts à part, pour pouvoir suivre son auteur.