Campus
Diagrama de temas
-
-
Conozca a su audiencia
A menos que estuviera creando un modelo solo para responder a sus propias preguntas, una vez que haya entrenado y ajustado un buen modelo, tendrá una audiencia a la que debe informar. Su audiencia puede ser una sola persona, un grupo de partes interesadas o tal vez toda una organización. Pueden ser personas que conoce o con las que no está familiarizado.
En muchos casos, la audiencia de su informe puede estar conformada por muchas personas diferentes, con diferentes conocimientos, necesidades y expectativas. Para generar un buen informe, entonces, necesitará conocer a su audiencia para que pueda identificar qué información debe proporcionar y cómo debe hacerlo para comunicarla de manera efectiva.
Información adicional
Para obtener más información sobre lo que significa conocer a su audiencia, consulte este sitio. -
Derivar información a partir de hallazgos
Los resultados producidos por el proceso IA/AA sin duda pueden ser interesantes para un profesional; tal vez fue capaz de exprimir un poco más de rendimiento de un modelo, o tal vez fue capaz de consolidar los datos para que fuera fácil para usted trabajar con ellos. Pero estas cosas no serán valiosas para un público más amplio por sí solas. Debe poder traducir estos resultados en información (nueva información sobre la que pueda tomar medidas) para demostrar el valor del proyecto.
Ayuda a comenzar revisando el proceso general y los resultados que vinieron de él. Al hacerlo, puede hacerse a sí mismo (y a sus compañeros de equipo) preguntas como:
- ¿Qué sabía sobre el problema objetivo antes de que comenzara el proyecto?
- ¿Qué sé ahora sobre el problema objetivo?
- ¿Cómo complementa el análisis que realicé mi conocimiento del problema objetivo?
- ¿Cómo abordan o no este problema los modelos que he creado?
- ¿Cómo se alinean o no los resultados con los indicadores clave de rendimiento (KPI) predefinidos?
- ¿Qué acciones se pueden tomar ahora o más tarde en función de los resultados del proyecto?
- ¿Qué he aprendido sobre el proceso de IA/AA que se puede utilizar para mejorarlo en el futuro?
Cuando se trata de comunicar información, debe asegurarse de que sea relevante y se coloque en el contexto adecuado. Aunque pueda parecer que su visión es inherentemente valiosa, puede no significar mucho para ciertas partes interesadas cuando se comunica en ciertos momentos. Por ejemplo, a los usuarios en general les importará menos su información sobre cómo puede ganar más dinero y más información sobre cómo se puede mejorar su experiencia de usuario.La información también debe ser clara y precisa. Decir que su clasificador de imágenes es "altamente preciso" no comunica realmente cómo puede ayudar a las personas. En su lugar, podría decir algo al efecto de: "El clasificador de imágenes determinará el tipo correcto de imagen el 95 % del tiempo y ahorrará 20 horas por semana en comparación con la revisión manual de las imágenes".
-
Explicabilidad
Las conclusiones reales que saque y luego comunique a las partes interesadas serán impulsadas por múltiples factores. Estos factores no solo le ayudarán a identificar información clave, sino que también le ayudarán a explicar el valor de esas ideas a cualquier persona que no haya participado directamente en las fases técnicas del proceso.
Un ejemplo de un factor importante que impulsa los resultados de IA/AA es la explicabilidad, también conocida como interpretabilidad. Un proceso explicable es aquel cuyo funcionamiento interno puede identificarse y comunicarse a una audiencia relevante. Por lo general, no es suficiente que un modelo de aprendizaje automático produzca un resultado, por ejemplo, un sistema bancario dice que el Cliente X es un buen candidato para un préstamo. Idealmente, podría explicar por qué el modelo tomó esa decisión. Esto no solo le ayuda a demostrar la habilidad y el valor del modelo a las partes interesadas, sino que sus decisiones también son más defendibles para cualquier gente afectada por ellas. Conocer el proceso de toma de decisiones del modelo puede aliviar las preocupaciones que las personas tienen naturalmente para la automatización.
Nota: La explicabilidad se discute a menudo junto con la idea de transparencia. La transparencia es ser capaz de ver en el funcionamiento interno, mientras que la explicabilidad va un paso más allá al hacer posible que esos funcionamientos internos sean comunicados y comprendidos.
La necesidad de explicabilidad no siempre es la misma para todos los proyectos. Un proyecto que trata con datos confidenciales, o un proyecto cuyos resultados se utilizan de manera sensible, puede que no necesite ser explicable a todo el mundo y en todos los sentidos. Debe considerar quién es su audiencia relevante para determinar quién debería ver realmente los resultados. Por ejemplo, si desarrolla un modelo que hace que una empresa sea más productiva, no necesariamente mostraría ese modelo a las empresas rivales, ya que la empresa inicial perdería su ventaja competitiva. Aun así, incluso si no cree que necesita que sus resultados sean explicables, es posible que esté legalmente obligado a hacerlo. Es por eso que debe revisar los requisitos legales de transparencia y explicabilidad en cualquier industria que sea relevante para su proyecto.
Desafortunadamente, algunos algoritmos y sus modelos resultantes son lo que se conoce como "cajas negras", o sistemas que hacen que sea difícil o incluso imposible explicar sus decisiones. Esto es particularmente cierto en el caso de los modelos basados en arquitecturas de redes neuronales. Sin embargo, muchos modelos todavía son explicables al menos en cierta medida, incluida la mayoría de los modelos que ha creado en este curso. Hay varias maneras de explicarlos y varias herramientas para el trabajo, pero dos métodos comunes son la interpretabilidad global y la interpretabilidad local.
Información adicional
Para obtener más información sobre la explicabilidad en IA, consulte este sitio. -
Interpretabilidad global frente a interpretabilidad local
La interpretabilidad global mide los procesos de toma de decisiones del modelo en su conjunto. La interpretabilidad local mide los procesos de toma de decisiones para ejemplos de datos específicos. Ambos se usan a menudo para determinar la importancia de la variable (es decir, característica). Puede usar la interpretabilidad global para determinar cuánto contribuyó cada entidad a un modelo en general, y la capacidad de interpretación local, para determinar cuánto contribuyó cada entidad a la estimación de un ejemplo de datos específico. Su elección de reducir o eliminar variables que considere poco importantes o que sean activamente perjudiciales para un modelo deberá justificarse. Incluso si no toma un enfoque tan directo, la importancia relativa de cada característica casi siempre tendrá un efecto significativo en el modelo resultante y las decisiones que toma.
En la siguiente ilustración, a la izquierda, una herramienta llamada Shapley Additive Explanations (SHAP) mide la importancia de las variables desde una perspectiva global. A la derecha, una herramienta llamada ELI5 ("explíquenme como si tuviera cinco [años]") mide la importancia de la variable para un solo ejemplo de datos que se ejecuta a través de un clasificador, un ejemplo de interpretabilidad local.
Figura 1. La interpretabilidad global (izquierda) y local (derecha) se demuestra mediante el uso de gráficas de importancia variable. 
El modelo representado por la gráfica de la izquierda estima el valor de las casas en función de varias características. De acuerdo con esta gráfica, se puede concluir que
LSTAT, o el porcentaje de hogares de bajos ingresos en la zona, tiene el mayor impacto en las estimaciones del modelo, con el número de habitaciones (RM) en un segundo distante. El modelo representado por la gráfica de la derecha clasifica a los pasajeros del malogrado RMS Titanic como si hubiesen sobrevivido al desastre o fallecido. Por lo tanto, el modelo concluye que este pasajero en particular habrá sobrevivido (y = 1). La característica que fue más importante en esta decisión específica es el hecho de que el pasajero era mujer. El pasajero que no embarcaba desde Southampton (Embarked=Sque falta) también fue algo importante en la decisión del modelo.Información adicional
Para obtener más información sobre la herramienta SHAP para Python®, consulte este sitio.Para obtener más información sobre la herramienta ELI5 para Python, consulte este sitio.
-
Presentación de los resultados del modelo
Una audiencia típica necesitará conocer el problema que se propuso abordar y la solución propuesta. En esencia, una solución de AA implicará datos y un modelo que opera con esos datos. Por lo tanto, deberá explicar cómo usó esos componentes, apegándose a la información que es relevante para la audiencia y proporcionando los tipos de detalles que necesitan saber. Principalmente, tendrán que entender cómo los resultados de su proyecto los afectan a ellos o a las personas con las que se asocian. Los siguientes componentes, entonces, deben ser las partes esenciales de su presentación.
- Un resumen ejecutivo o resumen del proyecto. Un informe sobre un proyecto de AA puede contener muchos detalles y hallazgos complejos. Para ayudar a su audiencia a prepararse para entender lo que presentará en detalle, comience con un breve resumen de los puntos principales: lo que se propuso hacer y lo que encontró como la respuesta o solución.
- El problema que se propuso abordar. Establezca el escenario describiendo el problema e identificando cómo se puede medir una solución en términos de KPI, como la disminución del tiempo dedicado a resolver un problema o el aumento de la precisión para resolverlo.
- Los datos. Describa, en términos que su audiencia pueda relacionar, los datos que se usaron, de dónde provienen y cualquier explicación relevante de cómo tuvo que modificar los datos para que sean útiles. Si procede, identifique datos adicionales que serían útiles para recopilar en el futuro para apoyar el análisis en curso.
- La hipótesis. Lo que supuso inicialmente al analizar los datos disponibles y cómo evolucionó su solución, quedándose con los detalles que serían relevantes para su audiencia. Evite profundizar en temas técnicos como los algoritmos, las herramientas de programación y las técnicas estadísticas que usó, a menos que sean relevantes para su audiencia y pueda presentarlos de una manera que su audiencia los entienda.
- La solución. Identificar lo que reveló el modelo final, identificando claramente sus implicaciones en el mundo real. Use ejemplos y visualizaciones para ayudar a su audiencia a entenderlo. Sea transparente, describiendo cualquier suposición que haya hecho, identificando dónde podría realizar mejoras y cualquier riesgo que la solución pueda introducir, incluidos los riesgos y los posibles desafíos éticos planteados a las organizaciones o personas.
-
Visualización de los resultados del modelo
Al principio del proyecto, es posible que haya utilizado visualizaciones para explorar el conjunto de datos y crear una hipótesis para el modelo. Es posible que también haya utilizado visualizaciones mientras entrenaba y probaba el modelo para evaluar su rendimiento y comprobar que funcione según lo previsto. Las visualizaciones proporcionan un medio eficaz para transmitir patrones en números. Del mismo modo que son útiles para usted durante el desarrollo de un modelo, pueden ser extremadamente útiles para ayudar a su audiencia a comprender los resultados producidos por su modelo de aprendizaje automático.
Algunos tipos de gráficos son más propicios para un público no técnico que otros. Los gráficos de barras y los gráficos de líneas son fáciles de entender, mientras que los mapas de calor y los gráficos de pares pueden ser difíciles de interpretar para un lego. La información de un gráfico también puede dificultar la interpretación, incluso cuando se usa un tipo de gráfico más sencillo. Una cuadrícula de varios gráficos de barras que presenta cuatro o más dimensiones de datos puede convertirse rápidamente en abrumadora para su audiencia. Debe mantener sus visualizaciones lo suficientemente simples como para ser entendidas, pero aun así capaces de comunicar alguna idea importante o contar una historia que valga la pena. Por lo tanto, considerar cómo colocar cada visualización dentro de un contexto general puede hacer que sea más fácil de entender.
Cuando comunique sus resultados en un informe visual o una presentación, también debe:
- Etiquetar los ejes y los títulos de los gráficos con nombres significativos.
- Etiquetar pasos (valores a lo largo de un eje) según sea necesario para identificar valores generales, pero no amontonar el gráfico con demasiados pasos o etiquetas.
- Utilizar leyendas según sea necesario para identificar qué valores se muestran en un gráfico.
- No confiar únicamente en la codificación de colores; cuando deba usarla, use paletas de colores que puedan ser detectadas por personas con daltonismo.
- Evitar agregar detalles o decoración innecesarios que dificulten la legibilidad, como fondos o temas.
Figura 1. Un gráfico inútil (izquierda) frente a uno más útil (derecha). 
Tipos de historias de visualización
Además de los tipos de gráficos fundamentales discutidos anteriormente en el curso, también puede categorizar las visualizaciones según el tipo de historia que le esté contando a su audiencia. Por ejemplo:- Una visualización de cambio a lo largo del tiempo suele ser un gráfico de líneas que muestra el cambio de hora en el eje X y alguna otra variable que cambia en el eje Y. Este tipo de visualización cuenta una historia sobre cómo la característica que está estudiando se ve afectada por los cambios en los tiempos durante un período determinado. Por ejemplo, el valor de una casa puede aumentar en un período de diez años.
- Una visualización de contraste muestra la diferencia entre dos o más variables. Muchos tipos de gráficos pueden representar el contraste, incluidos los gráficos de líneas con varias líneas, los gráficos de barras con varias barras, etc. Este tipo de visualización cuenta una historia sobre cómo las características relacionadas pueden divergir y qué factores están causando esa divergencia. Por ejemplo, la calificación de los jugadores en la figura anterior contrasta con cada ciudad, así como con cada género.
- Una visualización interseccional muestra dónde se superponen una o más variables entre sí. El tipo más común de visualización interseccional es un diagrama de Venn, donde los círculos se superponen entre sí. Este tipo de visualización cuenta una historia sobre cómo los conceptos pueden incluir características similares, pero también distintas. Por ejemplo, una encuesta podría pedir a los encuestados que elijan sus sabores de helado favoritos, y si se les permite elegir varios sabores, podría usar un diagrama de Venn para mostrar cuántos encuestados seleccionaron solo un sabor específico y cuántos seleccionaron cualquiera de varias combinaciones de sabores.
- Una visualización de factores demuestra cómo las variables latentes (los factores) reveladas a través de técnicas como la reducción de dimensionalidad se relacionan con las variables observadas en los datos. Varios tipos de gráficos pueden conectar factores con variables observadas, incluidos mapas de calor y diagramas de ruta. Este tipo de visualización cuenta una historia sobre cómo una característica latente puede representar varias características observadas, lo que promueve la transparencia y proporciona una mayor comprensión del dominio del problema. Por ejemplo, podría reducir la dimensionalidad del conjunto de datos del Titanic y, a continuación, conectar cada característica latente a varias características originales para ver cómo se tienen en cuenta en las decisiones de supervivencia de un modelo.
Información adicional
Para obtener más información sobre cómo elegir visualizaciones efectivas para una presentación, consulte este sitio.
Para obtener más información sobre los diagramas de Venn y otras visualizaciones interseccionales, consulte este sitio.
Para obtener más información sobre el análisis factorial y las visualizaciones, consulte este sitio.
-
Comunicación efectiva de los resultados
Las siguientes son algunas prácticas recomendadas adicionales que debe tener en cuenta al presentar los resultados de un proyecto de IA/AA:
- No sumerja a su audiencia en un mar de números. Adapte la presentación para las diferentes audiencias a las que debe dirigirse al incluir solo información relevante para esa audiencia, evitar la jerga y explicar las cosas de una manera que la audiencia entienda.
- Utilice los elementos visuales estratégicamente. Use gráficos o diagramas cuando ilustren más claramente patrones en los datos que palabras o números, especialmente cuando apoyen puntos importantes que debe hacer sobre sus hallazgos. Experimente con varios tipos de gráficos y opciones de formato según sea necesario hasta que llegue a una configuración que comunique claramente el punto que está tratando de hacer con poca o ninguna explicación. Las visualizaciones deben ayudar a su audiencia a tomar una decisión, no existir únicamente para hacer que su presentación se vea bien.
- Utilice formato, etiquetas y leyendas. Al mostrar números, utilice comas y separadores decimales para ayudar a los espectadores a leer los números. Si los valores son realmente cercanos en tamaño, utilice más posiciones decimales para mostrar las diferencias en los valores. Utilice símbolos de moneda para los valores monetarios. Incluya etiquetas, leyendas y otros subtítulos donde ayuden al lector a entender lo que está viendo. Alinee las columnas de números a la derecha o en el separador decimal para que se puedan comparar más fácilmente.
- Evite el suspenso. Una buena presentación fluye bien y cuenta una historia, pero no en la forma en que una novela de misterio cuenta una historia. Es probable que proporcione a su audiencia una gran cantidad de información para procesar, y tendrán preguntas e inquietudes. Ayúdelos a entender y estar de acuerdo con sus conclusiones al anticipar los tipos de preguntas que cree que tendrán y compartir puntos importantes desde el principio.
- Proporcione contexto para obtener más detalles. Si debe hacer un túnel hacia abajo en los detalles que muestran números, tablas y gráficos, asegúrese de conectarlos de nuevo a la idea principal o punto que está tratando de comunicar.
- Sea sincero y transparente. Sea claro con respecto a cómo obtuvo los resultados. No oculte datos o resultados significativos, incluso si no respaldan completamente su hipótesis, objetivos o solución propuesta.
- Identifique las suposiciones clave que haya realizado. Esto proporcionará contexto y una justificación de los resultados que ha producido.
- Revise su trabajo. Aunque los modelos de aprendizaje automático pueden ser impecables, la calidad de los hallazgos puede ponerse en duda si las presentaciones contienen errores.
- Invite a hacer comentarios. Asegúrese de que su audiencia tenga la oportunidad de hacer preguntas para que pueda proporcionar aclaraciones.
- Proporcione canales complementarios de comunicación para aquellos con estilos de comunicación diferentes. Algunas personas pueden dudar en hacer preguntas durante una presentación, y pueden sentirse más cómodas haciéndole preguntas de seguimiento uno a uno o a través de mensajes en línea. Considere invitarlos a compartir comentarios a través de canales secundarios como estos.
- Pruébelo antes de entregarlo. Dependiendo de la importancia del resultado de la presentación, considere la posibilidad de probarlo antes de entregarlo. Páselo por revisores que puedan representar a su público objetivo y le darán comentarios honestos. Hágales preguntas para evaluar qué tan bien la presentación consigue puntos importantes. Haga una carrera en seco de su entrega. Realice las revisiones que sean necesarias.
Información adicional
Para obtener sugerencias más generales sobre cómo crear una presentación eficaz, consulte este sitio.
-
Identificación de KPI
Los indicadores clave de rendimiento (KPI), es decir métricas utilizadas para evaluar el éxito de un proyecto o sus tareas individuales, se han mencionado varias veces hasta ahora. Son un componente importante de cualquier presentación porque aseguran que su audiencia pueda verificar realmente las afirmaciones que está haciendo. Pero, ¿cómo sabe qué KPI son realmente relevantes para su presentación y la audiencia a la que se presenta?
Es común que las partes interesadas en un proyecto acuerden al menos un conjunto de KPI antes de que comience el desarrollo del proyecto. Por lo tanto, naturalmente, incorporaría los resultados de estos KPI en su presentación de fin de proyecto. Por ejemplo, supongamos que sabe desde el principio que planea desarrollar un modelo para predecir a qué universidades se postulará un estudiante, basado en sus datos personales y su desempeño en la escuela. Incluso antes de empezar a trabajar con los datos, las partes interesadas del proyecto pueden decidir que el rendimiento final del modelo en métricas de validación como la exactitud, la precisión y la recuperación son KPI importantes. Por lo tanto, informaría la exactitud, precisión o recuperación de su modelo como parte de su presentación.
Ese es un KPI técnico específico, pero muchos KPI útiles son de más alto nivel. Los ejemplos más comunes incluyen:
- El tiempo que se tarda en crear un modelo o la aplicación en la que encajará.
- La cantidad de recursos utilizados para entrenar un modelo.
- El grado en que los usuarios y otras partes interesadas externas participaron en el proyecto.
- El nivel de riesgo que los resultados suponen para las personas u organizaciones.
- Y mucho más.
En última instancia, debe elegir los KPI que sean más relevantes para obtener la aprobación de las partes interesadas de su proyecto. De lo contrario, no estarán convencidos de que sus resultados están cumpliendo con sus expectativas. Si una sola presentación no es suficiente para convencerlos, es posible que deba sugerir la realización de varias sesiones en las que puedan revisar los resultados directamente. Por ejemplo, en lugar de simplemente decirle a su audiencia que su modelo es altamente preciso para predecir las solicitudes universitarias, podría alentarlos a ingresar sus propios detalles en el modelo y ver qué universidad se les sugiere. De esta manera, los resultados del proyecto son más tangibles. Además, pueden ser capaces de identificar más fácilmente los riesgos potenciales.
-
-
Campus
