Comment vérifier les promesses des fournisseurs
Les indications de performance des produits d'IA sont difficilement comparables. Quelques questions de contrôle que l'on peut poser sans connaissances techniques particulières.
Qui achète de la technologie se heurte à un problème d'évaluation : le fournisseur connaît son produit, l'acheteuse connaît son besoin, et les indications mises en avant relient rarement les deux. Quelques questions de contrôle aident, sans qu'il faille être soi-même spécialiste.
Sur quoi la mesure a-t-elle porté ?
Une indication de performance se rapporte à une base de mesure. Si celle-ci n'est pas nommée, l'indication n'est pas vérifiable et donc sans valeur pour une décision. La question n'est pas de savoir si un chiffre impressionne, mais sur quoi il a été relevé et si cette base ressemble à votre propre cas d'usage.
Un système convaincant sur une tâche standard n'obtient pas nécessairement le même résultat sur les données de l'entreprise. L'écart entre les deux est exactement le risque que l'on achète.
Que se passe-t-il quand cela ne fonctionne pas ?
Tout système produit des erreurs. La question pertinente est de savoir ce que coûte l'erreur et qui la remarque. Une erreur repérée et corrigée est un désagrément. Une erreur qui passe inaperçue et alimente une étape suivante est un dommage.
Les fournisseurs décrivent volontiers le cas normal. La question plus révélatrice porte sur le cas exceptionnel : comment l'exploitation constate-t-elle que le système se trompe, et à quelle vitesse ?
Que coûte la sortie ?
Une décision d'achat est aussi une décision d'engagement. Données, processus de travail et interfaces s'alignent avec le temps sur le système retenu. Qui ignore, avant d'entrer, à quoi ressemblerait une sortie n'a pas saisi l'intégralité du coût de sa décision.
Concrètement : dans quel format vos données se présenteront-elles à la fin, et quel travail représenterait un changement ?
Qui répond de quoi ?
Entre la garantie d'une fonction et la responsabilité en cas de défaut, les contrats laissent souvent un écart considérable. Un regard sur cet écart en dit plus sur la confiance du fournisseur que n'importe quelle description de produit.
Le dénominateur commun
Les quatre questions visent la même chose : l'écart entre ce qu'un système accomplit en démonstration et ce qu'il accomplit dans votre exploitation. Cet écart peut être réduit, mais pas négocié — et il relève du calcul, non de l'espoir.