Explicabilidad

Las conclusiones reales que saque y luego comunique a las partes interesadas serán impulsadas por múltiples factores. Estos factores no solo le ayudarán a identificar información clave, sino que también le ayudarán a explicar el valor de esas ideas a cualquier persona que no haya participado directamente en las fases técnicas del proceso.

Un ejemplo de un factor importante que impulsa los resultados de IA/AA es la explicabilidad, también conocida como interpretabilidad. Un proceso explicable es aquel cuyo funcionamiento interno puede identificarse y comunicarse a una audiencia relevante. Por lo general, no es suficiente que un modelo de aprendizaje automático produzca un resultado, por ejemplo, un sistema bancario dice que el Cliente X es un buen candidato para un préstamo. Idealmente, podría explicar por qué el modelo tomó esa decisión. Esto no solo le ayuda a demostrar la habilidad y el valor del modelo a las partes interesadas, sino que sus decisiones también son más defendibles para cualquier gente afectada por ellas. Conocer el proceso de toma de decisiones del modelo puede aliviar las preocupaciones que las personas tienen naturalmente para la automatización.

Nota: La explicabilidad se discute a menudo junto con la idea de transparencia. La transparencia es ser capaz de ver en el funcionamiento interno, mientras que la explicabilidad va un paso más allá al hacer posible que esos funcionamientos internos sean comunicados y comprendidos.

La necesidad de explicabilidad no siempre es la misma para todos los proyectos. Un proyecto que trata con datos confidenciales, o un proyecto cuyos resultados se utilizan de manera sensible, puede que no necesite ser explicable a todo el mundo y en todos los sentidos. Debe considerar quién es su audiencia relevante para determinar quién debería ver realmente los resultados. Por ejemplo, si desarrolla un modelo que hace que una empresa sea más productiva, no necesariamente mostraría ese modelo a las empresas rivales, ya que la empresa inicial perdería su ventaja competitiva. Aun así, incluso si no cree que necesita que sus resultados sean explicables, es posible que esté legalmente obligado a hacerlo. Es por eso que debe revisar los requisitos legales de transparencia y explicabilidad en cualquier industria que sea relevante para su proyecto.

Desafortunadamente, algunos algoritmos y sus modelos resultantes son lo que se conoce como "cajas negras", o sistemas que hacen que sea difícil o incluso imposible explicar sus decisiones. Esto es particularmente cierto en el caso de los modelos basados en arquitecturas de redes neuronales. Sin embargo, muchos modelos todavía son explicables al menos en cierta medida, incluida la mayoría de los modelos que ha creado en este curso. Hay varias maneras de explicarlos y varias herramientas para el trabajo, pero dos métodos comunes son la interpretabilidad global y la interpretabilidad local.

Información adicional