Monitoreo y registro
Si las pruebas garantizan que el modelo de AA y el sistema funcionan correctamente, la supervisión garantiza que siga funcionando correctamente en producción. Las soluciones de AA deben supervisarse tanto para los problemas del modelo de IA/AA como para los problemas operativos. El monitoreo inadecuado puede conducir a soluciones que sesguen los resultados, creen sesgos o dejen de agregar valor. Cuando las organizaciones usan soluciones de AA para actividades de misión crítica o reguladas, los errores de este tipo pueden ser costosos y problemáticos.
- Sesgado de datos. Este tipo de supervisión puede ayudarle a comprobar que los datos que llegan cumplen los requisitos del modelo y las características que se usan para generar resultados. Si los datos se vuelven demasiado sesgados, el modelo puede producir resultados sesgados o no válidos. Esto puede deberse a un diseño deficiente del modelo, cambios en los datos desde el diseño hasta la producción, características de datos que faltan o dependencias de datos que faltan. Si no se pueden obtener mejores datos, es posible que sea necesario actualizar y volver a entrenar el modelo. Como ejemplo de datos sesgados, tenga en cuenta que cualquiera de los conjuntos de datos de vivienda (Boston o condado de King) podría volverse sesgado a medida que ingiere más datos con el tiempo, ya que ciertas entidades de vivienda pueden ser menos relevantes con el tiempo. Por ejemplo, las personas que recopilan los datos de vivienda ya no pueden asignar una grade a una casa, o pueden cambiar el esquema de calificación que utilizan.
- Coherencia del modelo. Esta supervisión debe comprobar que el modelo produce los resultados esperados durante las fases de diseño, entrenamiento y producción. Por ejemplo, si un modelo entrenado en el conjunto de datos Titanic tiene una gran precisión durante el entrenamiento inicial, pero una baja precisión durante el ajuste, es posible que se haya cometido un error en el camino.
- Exactitud y antigüedad del modelo. Es posible que un modelo de AA se vuelva menos efectivo para generar resultados valiosos. Esto puede deberse a cambios en el entorno, cambios en los comportamientos que invalidan la necesidad de resultados del modelo o malos actores que explotan la debilidad del modelo. El monitoreo de la precisión y la obsolescencia (a veces denominada pudrición del modelo) se puede realizar mediante el seguimiento y la verificación de la exactitud y precisión de los modelos. Además de comprobar que el modelo sigue siendo viable y no obsoleto, esta supervisión ayuda a demostrar el valor que la solución de AA proporciona a la organización. Por ejemplo, un modelo de precios de la vivienda podría volverse obsoleto si no se recopilan nuevos datos sobre las casas durante años, ya que el mercado de la vivienda siempre está cambiando.
El registro es clave para la supervisión. Cualquier acción de procesamiento tomada por el sistema debe ser registrada para que pueda ser revisada por el equipo de supervisión. El registro se puede implementar como parte del diseño de software de la aplicación y mediante el uso de registros de eventos y del sistema en las plataformas que ejecutan la solución. Aunque el registro de datos suele ser fácil de hacer, el análisis de registros para obtener información suele ser más difícil. Examinar los datos consume mucho tiempo y es engorroso. Están disponibles aplicaciones de supervisión y registro de terceros que proporcionan características para registrar, buscar e identificar información importante de los archivos de registro.
Al igual que con todas las aplicaciones y sistemas informáticos, se deben supervisar las características operativas como el rendimiento, la utilización de recursos informáticos y el tiempo de actividad del sistema. Como se indicó anteriormente, la complejidad de los modelos de AA crea requisitos de supervisión adicionales, entre los que se incluyen:
Roles de miembro del equipo en la supervisión
Varios miembros de un equipo de proyecto pueden ser responsables de monitorear algún aspecto de la producción, incluyendo:
- Jefes de proyecto que son responsables de supervisar el costo y la programación asociados con el proyecto.
- Gerentes de producto que son responsables de monitorear las nuevas características y componentes agregados al proyecto.
- Directores de riesgos que son responsables de supervisar los riesgos para la seguridad de los activos del proyecto.
- Gerentes de aseguramiento de la calidad que son responsables de monitorear los problemas de calidad que pueden afectar los resultados del proyecto.
- Desarrolladores que son responsables de supervisar los detalles de un proyecto, incluida su base de código.
Escalado de inferencia
El escalado de inferencia se refiere al escalado vertical o descendente de recursos, a menudo hospedados en plataformas en la nube, para tener en cuenta los cambios continuos en los requisitos de predicción y estimación. En otras palabras, su sistema de IA puede ser llamado a hacer 100 predicciones un día, pero 100.000 predicciones al siguiente. Tal vez su aplicación de recomendación de productos se vuelve mucho más popular después de que un impulso de marketing se vuelve viral. Si acaba de crear la canalización de producción para tener en cuenta unos pocos cientos de predicciones al día, los sistemas back-end se sobrecargarían gravemente si eso se disparara repentinamente a 100.000 al día. Los algoritmos de escalado de inferencia supervisan los entornos de IA y adaptan automáticamente los recursos de hardware y software para satisfacer las necesidades del sistema de IA en producción.
Información adicional
Para obtener información adicional sobre la supervisión de soluciones de AA, consulte este sitio.
Para obtener más información sobre administrar archivos de registro, consulte este sitio.
Para obtener instrucciones sobre la administración de archivos de registro con herramientas, consulte este sitio.
Campus
Campus
