Métricas de evaluación

En el aprendizaje automático, las métricas de evaluación se usan para evaluar la habilidad, el rendimiento y las características de un modelo. Para ello, miden algún aspecto de un modelo o sus resultados. Hay muchas métricas de evaluación, cada una basada en una medición diferente. Los profesionales no se limitan a usar solo una métrica, sino que cada tipo de resultado de aprendizaje automático (regresión, clasificación, agrupación en clústeres, etc.) tiene sus propias métricas. Por lo tanto, si está entrenando un modelo de clasificación, no será muy bueno usar una métrica de agrupación en clústeres.

Las métricas de evaluación son fundamentales para desarrollar cualquier tipo de modelo de aprendizaje automático, sin importar si el modelo está supervisado o no. Las métricas supervisadas tienden a evaluar las estimaciones que un modelo realiza en los conjuntos de validación o prueba. Dado que estos conjuntos están etiquetados y no se utilizaron para entrenar el modelo, puede averiguar qué tan cerca está el modelo de la verdad del terreno. Por lo general, las métricas notifican este nivel de rendimiento en conjunto, en otras palabras, no evaluará cómo se desempeña el modelo en un solo ejemplo de datos, sino todos los ejemplos de datos del conjunto combinados. Las métricas no supervisadas tienden a examinar las características del modelo, ya que no hay etiquetas con las que medir el rendimiento.

Evaluar el rendimiento del modelo es importante por un par de razones principales. En primer lugar, puede determinar si está o no "satisfecho" con el modelo de acuerdo con sus metas o expectativas. Si el modelo no cumple con el nivel deseado de rendimiento, puede abandonarlo. Como alternativa, la otra razón para utilizar las métricas de evaluación es fundamentar el proceso de ajuste. En lugar de ajustar los hiperparámetros al azar y ver qué sucede, podrá ajustar esos hiperparámetros para maximizar una o más métricas. La meta final de este proceso es mejorar iterativamente el modelo hasta que cumpla con sus expectativas.

Ley de Goodhart

La Ley de Goodhart, llamada así por el economista Charles Goodhart, puede resumirse en pocas palabras como: "Cuando una medida se convierte en un objetivo, deja de ser una buena medida". En otras palabras, si se concentra demasiado en lograr buenos resultados para una medición específica, entonces la medición en sí se convierte en la meta. Si intenta ejercer demasiado control sobre un sistema a través de una métrica, esto podría conducir a una falsa sensación de logro. En el campo del aprendizaje automático, puede optimizar un modelo para que funcione muy bien en una métrica, pero también podría tener un rendimiento deficiente en otras de igual importancia. La habilidad general del modelo podría verse afectada como resultado. Por lo tanto, a medida que aprende sobre las diversas métricas en el aprendizaje automático, tenga en cuenta que no hay una métrica "perfecta" desde el punto de vista objetivo para cada circunstancia, y que es posible que deba considerar varias métricas en el proceso de evaluación.