Como se discutió anteriormente, la IA tiene el potencial de hacer que las personas estén más seguras al asumir trabajos peligrosos o introducir métodos nuevos y más seguros para hacer las cosas. Desafortunadamente, de otras maneras, la IA tiene el potencial de poner en riesgo la seguridad de las personas. Estos riesgos tienden a ser mucho más sutiles que la forma en que a menudo se representan en la ciencia ficción.

Consulte el siguiente ejemplo: un robot está entrenado para soldar varios metales en una línea de montaje. Incluso puede entrenarse para identificar a los seres humanos en el área y evitar acercarse a ellos o activar su herramienta de soldadura por razones de seguridad. Sin embargo, hay algunos riesgos ocultos. ¿Qué pasa si alguien accidentalmente dejó un objeto inflamable en la línea de montaje?

- El robot puede no tener experiencia con cómo lidiar con esta situación en particular, por lo que puede continuar como si nada fuera diferente.
- El robot puede reaccionar, pero no de una manera óptima.
- En cualquier caso, el robot podría terminar encendiendo el material inflamable, lo que podría poner vidas en riesgo.

Eso puede parecer un ejemplo extremo, pero ayuda a ilustrar que los riesgos de seguridad con IA a menudo son muy difíciles de predecir (incluso para una máquina). El robot necesitaría capacitación adicional para identificar los peligros de seguridad conocidos y cómo evitarlos, así como cómo evaluar situaciones desconocidas para detectar peligros potenciales. Estos problemas también afectan a algo más que la IA en el espacio físico.

Los problemas de seguridad son una preocupación importante en campos donde las decisiones basadas en la IA tienen un impacto en la salud humana. Por ejemplo, un sistema de IA que predice que un paciente médico tiene una determinada enfermedad puede cometer un error (por ejemplo, si está entrenado con datos sesgados) y, en consecuencia, cualquier medicamento recetado a ese paciente puede terminar dañándolo. Otro ejemplo es un sistema de IA que regula la calefacción, la ventilación y el aire acondicionado (HVAC) en un edificio. Si el sistema sobre o subcorrige la temperatura o no proporciona suficiente ventilación, las personas dentro del edificio pueden estar en riesgo.