Las personas construyen significado basado en lo que observan en el presente, sobre sus experiencias del pasado. A través de nuestras experiencias, naturalmente traemos nociones preconcebidas a cualquier conjunto de problemas. Este desarrollo sobre la experiencia nos ayuda a entender rápidamente el significado de las cosas nuevas que encontramos y obtener soluciones rápidas a nuevos problemas. Si bien basarse en la experiencia es valioso, puede presentar un problema cuando tratamos las nociones preconcebidas como experiencia y permitimos que esas nociones nos lleven a ver lo que esperamos o queremos ver. Este fenómeno se denomina sesgo del observador.

Hay numerosos ejemplos en los que el supuesto sesgo de los observadores dio lugar a decisiones que afectaron en gran medida la vida de las personas. Por ejemplo, el trabajo de Cyril Burt, cuya investigación sobre inteligencia y genética fue desacreditada en gran medida debido a que el sesgo del observador en el mejor de los casos (o la falsificación de datos en el peor) influyó en la creación de un sistema educativo de dos niveles basado en la clase social.

Cuando cualquier investigador se acerca a un conjunto de problemas, aporta conocimiento previo y puede tener nociones preconcebidas o sentimientos subjetivos sobre el grupo bajo estudio. Es imprescindible que evalúe sus prejuicios conscientes o inconscientes, y se asegure de que no influyan en el entrenamiento o los resultados del proyecto.

Información adicional

La reducción de diferentes tipos de sesgo (como el sesgo de selección, el sesgo de notificación y el sesgo de deserción) es necesaria para crear modelos que se generalicen bien y que no sean sensibles al ruido en el conjunto de datos de entrenamiento. Sin embargo, hay otro aspecto de sesgo a considerar con respecto a la ética y la equidad.

El sesgo de prejuicio se introduce cuando los datos de entrenamiento están influenciados por estereotipos culturales o de otro tipo. Por ejemplo, supongamos que proporciona al modelo un conjunto de imágenes destinadas a entrenar el modelo sobre patrones de trabajo. El conjunto de datos de la imagen incluye miles de imágenes que muestran a hombres y mujeres en diversos roles laborales. Si las imágenes reflejan estereotipos de género (hombres que realizan trabajos de un tipo y mujeres que realizan trabajos de otro tipo), el modelo corre el riesgo de aprender estereotipos de género.

El sesgo de prejuicio puede convertirse en un problema significativo cuando el modelo tiene en cuenta los datos sesgados al tomar decisiones críticas que afectan la vida de las personas, como examinar a los solicitantes de empleo o solicitudes de préstamos, detectar fraudes o actividades sospechosas, hacer diagnósticos médicos, etc. En estos casos, el sesgo no solo puede conducir a un modelo poco hábil, sino que si el modelo está sesgado basado en prejuicios sistemáticos, también puede causar daño a una clase particular de personas.

Es importante que los profesionales de AA reconozcan que la selección, el etiquetado y la anotación de los datos de entrenamiento pueden transmitir consciente o inconscientemente estereotipos sociales. Al ensamblar un conjunto de datos de entrenamiento, debe tomarse el tiempo para asegurarse de que los datos presentan una distribución uniforme de varias clases de personas, por lo que la atención se centrará en otros atributos más relevantes.

Información adicional

Existen numerosas preocupaciones éticas relacionadas con el uso del procesamiento del lenguaje natural (PLN). Por ejemplo, debe asegurarse de que el PLN no excluya inadvertidamente a los usuarios, por ejemplo, aquellos que hablan un idioma diferente al que admite la aplicación o los usuarios que no pueden oír o hablar.

En algunos casos, los desarrolladores pueden incorporar características destinadas a mejorar la capacidad de una aplicación para comunicarse, al tiempo que infringen inadvertidamente la privacidad de un usuario. Por ejemplo, los desarrolladores de dispositivos domésticos activados por voz pueden ocasionalmente "escuchar" en conversaciones entre los usuarios y la aplicación para evaluar qué tan bien responde el dispositivo a los comandos de voz. Los desarrolladores, también, podrían examinar los mensajes registrados en los registros de la aplicación. Ambos enfoques pueden infringir la privacidad del usuario.

Las tecnologías de PLN como los chatbots se han usado para influir en los diálogos en línea en foros como Twitter. Además de difundir desinformación, los bots pueden manipular la dirección de las discusiones o crear ruido y distracciones que dificultan las discusiones legítimas. Puede ser necesario crear leyes que requieran que los chatbots se identifiquen como entidades automatizadas, o prohibirlas directamente, y poner en marcha repercusiones legales efectivas para aquellos que infrinjan la ley. Dichas leyes probablemente tendrían que requerir que los servicios en línea puedan demostrar la debida diligencia en la vigilancia de sus servicios para la presencia de bots. Si bien la IA y el AA se pueden usar para crear este tipo de bots, también pueden ser útiles para ayudar a los servicios en línea a monitorizar sus sistemas para detectar la presencia de bots.

Información adicional

Luego de proporcionar suficientes datos a lo largo del tiempo, el aprendizaje automático puede obtener información significativa de datos aparentemente insignificantes. Por ejemplo, los investigadores demostraron que los datos recopilados por los medidores eléctricos inteligentes, que monitorizan el uso de electricidad en los hogares, podrían revelar qué programas de televisión ven los clientes.

Cada dos segundos, los medidores inteligentes que probaron tomaron medidas detalladas del consumo de energía usado por los electrodomésticos, transmitiendo esas mediciones a un servidor en la compañía de servicios públicos. Los datos recopilados por los contadores incluían la cantidad de electricidad usada, el tipo de aparato usado y, en el caso de los aparatos digitales, como algunos televisores, datos aún más detallados que el aparato puede revelar al contador.

Estos datos permiten que la compañía de energía proporcione a los clientes información muy detallada sobre su consumo de energía, para ayudar a los clientes a monitorizar su consumo de energía. Sin embargo, en las manos equivocadas, los investigadores demostraron que la información detallada, recopilada cada dos segundos, podría usarse para fines que la compañía eléctrica nunca pretendió. Determinaron que los datos en realidad se podían usar para determinar qué canales y programas estaban viendo los clientes en distintos momentos del día. Con suficientes muestras de datos, los patrones de consumo de energía necesarios para mostrar un espectáculo en particular a medida que la imagen y la iluminación cambian en la pantalla servirían esencialmente como una firma de un canal en particular en un momento determinado.

Hay muchos otros ejemplos de cómo los datos recopilados se pueden usar para fines no deseados, si tiene los medios para interpretar los datos. También hay casos en los que los resultados de un modelo pueden ser útiles para un contexto específico, pero se aplican descuidadamente (o malintencionadamente) a un contexto diferente. Por ejemplo, si desarrolla un modelo para sugerir el mejor medicamento para los pacientes con diabetes, y entrena ese modelo exclusivamente en datos de pacientes diabéticos; usar ese modelo para determinar la medicación para los pacientes con cáncer sería extremadamente irresponsable.

También debe tener en cuenta cómo la intención en sí misma no siempre puede ser fácil de comunicar. Es posible que los usuarios de una aplicación de IA ni siquiera acepten su intención declarada, incluso si la entienden. Si un banco desarrolla un modelo para aceptar o rechazar a los solicitantes de préstamos, alguien que es rechazado podría interpretar ese resultado como un ataque a su carácter o identidad, incluso si el banco nunca tuvo la intención de ofenderlo en ninguno de los dos aspectos. Podrían poner en duda la legitimidad de la aplicación de IA. En última instancia, su interpretación de los resultados de un modelo no siempre se va a compartir con las personas que se ven directamente afectadas por esos resultados.

Información adicional