Exactitud, precisión y recuperación

La exactitud es una medida de la frecuencia con la que cada clasificación se considera positiva o negativa desde el punto de vista correcto.

Si la exactitud es perfecta (todas las estimaciones son correctas), se medirá como 1,0. Si la mitad de las predicciones son correctas, la exactitud será de 0,5. Estos se pueden convertir en porcentajes según sea necesario.

La exactitud es intuitiva, y la palabra en sí tiene la connotación de ser muy deseable. Sin embargo, la exactitud a menudo demuestra ser una medida poco confiable del rendimiento del modelo. Considere el ejemplo de la identificación del cáncer de páncreas en pacientes. Un modelo entrenado con estos datos probablemente terminaría con un gran número de verdaderos negativos y casi ningún verdadero positivo, falsos positivos o falsos negativos, porque el cáncer de páncreas es relativamente raro en un muestreo aleatorio de personas.

Como resultado, la exactitud es extremadamente alta, casi el 98 %. Esto hace que la precisión sea casi inútil, ya que el modelo de aprendizaje automático no será mejor para predecir los raros casos en los que un paciente tiene cáncer de páncreas. Por lo tanto, la exactitud solo es útil en conjuntos de datos donde los datos de la etiqueta están equilibrados.

La precisión es una medida de la frecuencia con la que los positivos identificados por el modelo de aprendizaje son verdaderos positivos.

Como se muestra aquí, la precisión es el número de estimaciones positivas correctas dividido por todas las estimaciones positivas realizadas. En otras palabras, la precisión puede expresarse como:

Al igual que la exactitud, la precisión se puede expresar como un número de 0 a 1,0 o como un porcentaje.

La precisión suele ser más útil que la exactitud, especialmente en conjuntos de datos asimétricos, pero aún debe tener en cuenta el contexto de los datos y los resultados que está buscando. Usando el conjunto de datos, el modelo determinó correctamente que 17 pacientes tenían cáncer. También determinó que 8 pacientes tenían cáncer cuando en realidad no lo tenían. Por lo tanto, la precisión sería 17 / 17 + 8, o 68 %. Esto es más útil que la exactitud, porque tiene en cuenta la naturaleza desequilibrada del conjunto de datos con respecto a la etiqueta. Sin embargo, el problema con la precisión en este caso es que no aborda los casos en los que un paciente tiene cáncer, pero el modelo no indica que lo haga (es decir, falsos negativos). Dado lo grave que es el cáncer de páncreas, si el modelo no identifica ni siquiera a un solo paciente que tiene la enfermedad, el modelo puede considerarse un fracaso. Incluso si usted decide tolerar más de un caso perdido de cáncer, la precisión aún se queda corta en la evaluación del rendimiento de este modelo.

La recuperación, también denominada sensibilidad, es el porcentaje de instancias positivas encontradas por un modelo de aprendizaje automático en comparación con todas las instancias relevantes. Una instancia "relevante" es cualquier instancia que es realmente verdadera, incluso si la estimación es incorrecta.

Como se muestra aquí, la memoria es el número de estimaciones positivas correctas dividido por el número de estimaciones positivas correctas más el número de estimaciones negativas incorrectas. En otras palabras, la recuperación puede expresarse como:

Al igual que la exactitud y la precisión, la recuperación se puede expresar como un número de 0 a 1,0 o como un porcentaje.

Como ha visto, es posible que la precisión no sea la forma más útil de medir qué tan bueno es un modelo de aprendizaje automático para identificar a los pacientes con cáncer de páncreas. Vamos a intentar la recuperación. En el ejemplo, supongamos que el modelo pudo determinar correctamente que 17 pacientes tenían la enfermedad. El modelo no pudo identificar que 4 pacientes más tenían la enfermedad. La recuperación sería 17 / 17 + 4, o alrededor del 81 %. Ahora, tiene una mejor idea de qué tan bien funciona su modelo con respecto a su propósito final: minimizar el número de personas con cáncer de páncreas que no se diagnostican. Esto se debe a que la recuperación se centra en los falsos negativos. Técnicamente, el modelo podría mejorar su memoria al predecir que todos los pacientes tienen cáncer, lo que llevaría a una recuperación del 100 %, pero esto haría que el modelo fuera inútil para establecer prioridades sobre el diagnóstico y el tratamiento manuales. Además, la recuperación no minimiza los falsos positivos, así como lo hace la precisión.