Come verificare le promesse dei fornitori
Le indicazioni di prestazione dei prodotti di IA sono difficilmente comparabili. Alcune domande di verifica che si possono porre senza conoscenze tecniche specialistiche.
Chi acquista tecnologia si trova davanti a un problema di valutazione: il fornitore conosce il proprio prodotto, l'acquirente conosce il proprio fabbisogno, e le indicazioni con cui si fa pubblicità raramente collegano i due. Alcune domande di verifica aiutano, senza dover essere specialisti.
Su che cosa è stata effettuata la misurazione?
Un'indicazione di prestazione si riferisce a una base di misurazione. Se questa non viene nominata, l'indicazione non è verificabile e dunque priva di valore per una decisione. La domanda non è se una cifra sia impressionante, ma su che cosa sia stata rilevata e se quella base assomigli al proprio caso d'uso.
Un sistema convincente su un compito standard non deve necessariamente comportarsi allo stesso modo sui dati aziendali. La differenza fra i due è esattamente il rischio che si acquista.
Che cosa succede se non funziona?
Ogni sistema genera errori. La domanda rilevante è quanto costi l'errore e chi se ne accorga. Un errore che salta all'occhio e viene corretto è una seccatura. Un errore che entra inosservato in un processo successivo è un danno.
I fornitori descrivono volentieri il caso normale. La domanda più istruttiva riguarda il caso eccezionale: come si accorge l'esercizio che il sistema sbaglia, e con quale rapidità?
Quanto costa uscirne?
Una decisione d'acquisto è anche una decisione di vincolo. Dati, flussi di lavoro e interfacce si orientano col tempo sul sistema scelto. Chi prima di entrare non sa come sarebbe un'uscita non ha colto per intero i costi della propria decisione.
Concretamente: in quale formato si presenteranno alla fine i propri dati, e quanto lavoro comporterebbe un cambiamento?
Chi risponde di che cosa?
Fra la garanzia di una funzione e la responsabilità per la sua assenza i contratti lasciano spesso una distanza considerevole. Uno sguardo a questa distanza dice più sulla fiducia del fornitore di qualsiasi descrizione di prodotto.
Il denominatore comune
Tutte e quattro le domande mirano alla stessa cosa: la differenza fra ciò che un sistema realizza in dimostrazione e ciò che realizza nell'esercizio proprio. Questa differenza si può ridurre, ma non negoziare — e appartiene al calcolo, non alla speranza.