- Dependencias de características. También llamado entrelazamiento o el problema de “cambiar cualquier cosa lo cambia todo”, este problema refleja la complejidad de la selección de características en esos datos y cómo las características seleccionadas contribuyen a generar los resultados deseados. Es posible que las características utilizadas por el modelo deban cambiar en determinados entornos de producción. En ese caso, debe realizar un seguimiento de los cambios en las características utilizadas por el modelo y ejecutar pruebas para asegurarse de que el modelo siga generando resultados de calidad después de los cambios de características y el reentrenamiento.
- Dependencias de datos. Cada solución de AA tiene código que debe permanecer estable y datos que pueden cambiar con el tiempo. Los datos de una solución en producción pueden ser menos útiles o menos disponibles con el tiempo, lo que reduce la capacidad de la característica o características basadas en esos datos para contribuir a los resultados. En cualquier caso, es posible que las características que se usan para generar resultados deban cambiar. Asegúrese de realizar un seguimiento de los cambios en las características utilizadas por el modelo y de ejecutar pruebas para asegurarse de que el modelo siga generando resultados de alta calidad después de los cambios de datos.
- Seguimiento de cambios en la configuración del modelo. Los modelos deberán actualizarse y estas actualizaciones pueden producirse como parte de una revisión. Las revisiones pueden ocurrir cada pocos meses, o pueden hacerse de forma iterativa cada pocos días, ya que un modelo está optimizado para las condiciones cambiantes. Cada cambio en el modelo lo aleja de su concepto e implementación originales. Este es un ejemplo de deriva de concepto, también llamada deriva de modelo. Si bien esto está bien y en muchos casos se espera, se debe realizar un seguimiento de cada cambio y documentar las razones detrás de él para comprender las razones detrás de los cambios y permitir la supervisión y el gobierno de las soluciones de aprendizaje automático reguladas o escrutadas.
- Detección de errores del modelo. Las pruebas de software están diseñadas para detectar problemas en el código que se conecta a los datos y otras aplicaciones, pero las pruebas tradicionales no detectarán si se ha omitido una característica del modelo, si se ha implementado una versión anterior del modelo o si los datos de entrenamiento no son válidos. Los profesionales de IA/AA y los expertos en el dominio deben evaluar y verificar el modelo, su proceso, los resultados después de implementar el modelo, los datos utilizados para entrenar el modelo y cuándo el modelo está en proceso. Debe verificarse para garantizar la validez, la transparencia y la gobernanza.
- Reproducibilidad. Para evitar que una solución de AA se convierta en una caja negra y para proporcionar transparencia y supervisión sobre cómo el modelo llega a los resultados, las estimaciones deben ser reproducibles dados los mismos datos y condiciones. Esto es especialmente cierto en los campos e industrias fuertemente regulados. Para ayudar a garantizar la reproducibilidad y la transparencia de la configuración, se debe realizar un seguimiento y documentar los cambios en el software de la solución, las dependencias, el control de versiones, la recopilación de datos, las características y las canalizaciones de forma que se permita el examen y la supervisión.
Campus
Campus
