Mesurer avant de vendre : le banc d'essai de mes IA
Domaine : vision par ordinateur, entraînement et évaluation de modèles
Période : août à septembre 2026
Client : projet interne, mes propres sociétés (Lab 77, R&D)
Un modèle de détection produit toujours une réponse. La seule question qui compte pour le vendre est : combien en rate-t-il, et combien en invente-t-il ? Pour y répondre honnêtement, j'ai construit un atelier où l'examen est fixé avant l'entraînement et où la machine ne choisit pas son propre gagnant. Voici la démarche, et les questions que j'en tire pour tout dirigeant à qui l'on propose une IA.
Contexte
Pour ma plateforme d'images aériennes, j'ai besoin de modèles qui repèrent des fissures, de la rouille, des arbres ou des véhicules sur des photos. Certains sont repris de projets libres, d'autres entraînés par mes soins ; les licences sont traitées dans un article dédié. En août 2026, une semaine d'entraînements a produit de nombreuses pannes, presque toutes déjà connues : les leçons vivaient dans des notes, pas dans les outils. J'en ai fait un atelier générique, où chaque panne devient un garde-fou codé.
Problème
- Un modèle qui tourne n'est pas un modèle qui dit vrai : il répond sur chaque image avec le même aplomb, juste ou faux.
- L'examen peut être truqué sans le vouloir : images de test trop proches de l'apprentissage, critère choisi après coup, et le modèle paraît meilleur qu'il ne l'est.
- Le hasard fabrique des gagnants : comparer trente versions d'un modèle, c'est trente occasions d'en trouver une qui réussit par chance.
- La mémoire se perd : j'ai archivé quatre modèles dont personne ne pouvait dire pourquoi ils n'avaient pas été retenus ; ils n'avaient jamais été jugés.
La démarche
1. Écrire le critère de réussite avant de connaître le résultat
Chaque campagne commence par huit questions en langage courant, dont celle-ci : qu'est-ce qui serait inacceptable, même si tout le reste s'améliore ? La réponse est un cap : un candidat qui le franchit est refusé, quels que soient ses autres chiffres. Une autre impose de ne changer qu'une chose à la fois, sinon personne ne sait ce qui a fait bouger le résultat.
2. Sceller l'examen avant de réunir les images d'apprentissage
Le protocole compte seize étapes, et chacune refuse de démarrer sans le tampon de la précédente. Les images d'examen sont scellées par une empreinte numérique avant de constituer le corpus d'apprentissage, dont on prouve ensuite qu'il n'en contient aucune. Il y a deux examens : un pour choisir, un second, ouvert une seule fois, pour confirmer. L'examen passe par le vrai moteur de production : un banc qui mesure autrement que la production finit par mesurer autre chose.
3. Retirer à la machine le droit de choisir
Toutes les versions produites pendant l'entraînement sont gardées et l'examen tranche après coup : deux fois, une formule automatique avait désigné la toute première, à peine dégrossie. Le calcul final tient compte du nombre de candidats comparés. Et « on garde ce qu'on a » est un résultat valable : une campagne a fini avec tous ses candidats refusés, ce qui a évité de remplacer un modèle qui marche par un moins bon.
4. Un juge qui conseille, des humains qui tranchent
Un modèle de vision plus large relit les détections : oui, non ou incertain. Une réponse illisible reste illisible, jamais un oui par défaut : un juge qui devine fabrique de la confiance. Il ne valide rien seul. Quand la bonne réponse s'établit à la main, deux lectures indépendantes sont scellées avant comparaison, et les chiffres du modèle révélés en dernier. Je peux aussi déposer une photo dans un bac d'essai et voir ce que la production ferait. Rien n'est mis en service sans ma décision.
5. Une fiche d'identité, y compris pour les modèles retirés
Chaque modèle a une fiche liée à l'empreinte de son fichier : statut, examen, contrôle humain, licences, et surtout ce qui n'a pas été mesuré. RT-DETR, un détecteur libre réputé que j'utilisais pour les véhicules, a été retiré : vu du dessus, il ne voyait rien, et en vue oblique il prenait des toits pour des camions. Sa fiche reste, pour qu'on sache ce qu'on a retiré et pourquoi.
Résultat
Chaque modèle du catalogue porte un verdict écrit et ses limites, y compris les conditions dans lesquelles il n'a pas encore été mesuré. C'est cette fiche, plus qu'un chiffre isolé, qui dit où un modèle peut servir et où il ne doit pas.
Ce que j'en retiens
- Un modèle n'est vendable que si l'on sait combien il en rate. Demandez à votre fournisseur deux chiffres, pas un : la part des vrais objets trouvés (le rappel) et la part des détections justes (la précision).
- Demandez quand l'examen a été fixé. Avant ou après l'entraînement ? Sur des images comme les vôtres, ou sur un jeu de démonstration ? Qui a choisi la version livrée ?
- Demandez le pire cas, pas seulement la moyenne. Et ce que fait le modèle quand il ne sait pas.
- Demandez ce qui n'a pas été testé. Un fournisseur sérieux a la réponse écrite.
- Une absence d'étiquette n'est pas une absence d'objet. Des « fausses détections » comptées sur un jeu public se sont révélées, à l'œil, être de la vraie rouille non annotée.
- Mesurer une fois, puis livrer. Après deux semaines de bancs successifs, la mesure était devenue une fin en soi. Désormais : un modèle, un examen scellé, une fiche signée.
Pour aller plus loin
On vous propose une IA de détection et vous voulez savoir ce qu'elle vaut sur vos images ? Je vous aide à poser les bonnes questions, ou à construire votre banc d'essai. Voyez l'IA souveraine, ou réservez un appel découverte de 20 minutes.
Sources
- Classification : exactitude, rappel, précision, Google Machine Learning Crash Course, consulté le 15 novembre 2026.
- Métriques et évaluation des modèles, documentation officielle de scikit-learn, consulté le 15 novembre 2026.
- RT-DETR, dépôt officiel (licence Apache-2.0), consulté le 15 novembre 2026.
- Photo : JumadilM / Wikimedia Commons (commons.wikimedia.org), licence CC BY-SA 4.0.
Tags : intelligence artificielle, vision par ordinateur, évaluation de modèles, précision, rappel, banc d'essai, achat d'IA