Cómo comprobar las promesas de los proveedores
Los datos de rendimiento de los productos de IA son difícilmente comparables. Algunas preguntas de comprobación que pueden plantearse sin conocimientos técnicos especializados.
Quien compra tecnología se enfrenta a un problema de valoración: el proveedor conoce su producto, la compradora conoce su necesidad, y los datos con los que se hace publicidad rara vez conectan ambas cosas. Unas pocas preguntas de comprobación ayudan, sin necesidad de ser uno mismo especialista.
¿Sobre qué se ha medido?
Un dato de rendimiento se refiere a una base de medición. Si esta no se menciona, el dato no es comprobable y, por tanto, carece de valor para una decisión. La pregunta no es si una cifra impresiona, sino sobre qué se obtuvo y si esa base se parece al propio caso de uso.
Un sistema que convence en una tarea estándar no tiene por qué comportarse igual con los datos de la empresa. La diferencia entre ambos es exactamente el riesgo que se compra.
¿Qué ocurre si no funciona?
Todo sistema produce errores. La pregunta relevante es cuánto cuesta el error y quién lo advierte. Un error que se detecta y se corrige es una molestia. Un error que entra inadvertido en un proceso posterior es un daño.
Los proveedores describen de buen grado el caso normal. La pregunta más reveladora se refiere al caso excepcional: ¿cómo detecta la explotación que el sistema se equivoca, y con qué rapidez?
¿Cuánto cuesta salir?
Una decisión de compra es también una decisión de vinculación. Datos, flujos de trabajo e interfaces se orientan con el tiempo hacia el sistema elegido. Quien antes de entrar no sabe cómo sería una salida no ha captado por entero el coste de su decisión.
En concreto: ¿en qué formato quedarán los propios datos al final, y cuánto trabajo supondría un cambio?
¿Quién responde de qué?
Entre la garantía de una función y la responsabilidad por su ausencia, los contratos dejan a menudo una distancia considerable. Una mirada a esa distancia dice más sobre la confianza del proveedor que cualquier descripción de producto.
El denominador común
Las cuatro preguntas apuntan a lo mismo: la diferencia entre lo que un sistema rinde en la demostración y lo que rinde en la explotación propia. Esa diferencia puede reducirse, pero no negociarse, y pertenece al cálculo, no a la esperanza.