Problemas relacionados con la caja negra

Para muchos, una preocupación sobre la IA es el tema de la caja negra. El término caja negra se refiere a un sistema que es incognoscible. La IA a veces se describe como una caja negra porque puede tomar decisiones sin que ella (o cualquier otra persona) pueda explicar por qué se tomaron esas decisiones. Esto puede poner en tela de juicio la exactitud y utilidad de esas decisiones y esas decisiones pueden tener consecuencias negativas para las personas.

Por ejemplo, una verificación de crédito instantánea en línea puede ser procesada por un algoritmo de IA que comprueba la calificación crediticia de una persona, junto con otras características. El banco puede no otorgar créditos al usuario si no cumple con criterios específicos. Esto puede retrasar la disponibilidad de crédito mientras la solicitud se envía a una persona para su revisión o puede resultar en la pérdida de poder adquisitivo para una persona. Una pérdida de poder adquisitivo puede afectar la capacidad de obtener vivienda, transporte, libros para la escuela u otros servicios vitales.

En otro ejemplo, a los reclusos se les asignó una calificación de riesgo mediante un software. La calificación de riesgo se evaluó cuando los reclusos entraron en libertad condicional. Generalmente, a los reclusos de alto riesgo se les denegó la libertad condicional. Cuando cuestionaron los hallazgos en los tribunales, la empresa detrás del software explicó que evaluaron más de 100 factores diferentes, pero no estaban dispuestos a compartir el proceso por el cual determinaron la evaluación del riesgo porque ese algoritmo estaba patentado. La empresa argumentó que, si el algoritmo fuera expuesto, la empresa perdería su ventaja competitiva. Esto dejó a los reclusos con un sistema que proporciona evaluaciones de riesgo sin ninguna explicación sobre qué factores afectan los resultados de esas evaluaciones.

Un principio básico de equidad es el derecho de las personas a cuestionar las evaluaciones, valoraciones o afirmaciones negativas hechas sobre ellas. En los casos en que la IA está involucrada, esto puede ser muy difícil o incluso imposible. Recuerde que la IA puede tomar decisiones sin que ella (o cualquier otra persona) pueda explicar por qué se tomaron esas decisiones. Esto pone en tela de juicio la exactitud, utilidad y equidad de esas decisiones.

Información adicional