Función de costo

Para encontrar el mejor ajuste posible para un modelo de regresión, necesita una manera de determinar los valores para los parámetros del modelo (θi) que conducirán a este mejor ajuste. Esto implica evaluar el rendimiento del modelo en los datos de entrenamiento. En lugar de evaluar qué tan bien el modelo hace las estimaciones, en la regresión, es más común evaluar qué tan mal estima, en otras palabras, su costo.

Una función de costo intenta cuantificar el error entre los valores estimados y los valores de entrenamiento etiquetados reales. Lo hace calculando la diferencia entre los dos. En otras palabras, el modelo de aprendizaje automático identifica lo malo que es para estimar la relación entre las variables independientes y dependientes (x e y). Una parte importante del proceso de aprendizaje es el acto de minimizar esta función de costo mediante la determinación de los parámetros óptimos del modelo. La ecuación normal, por ejemplo, es un método para minimizar la función de costo. Además, las próximas técnicas de regularización incorporan la función de costo en su intento de mejorar el rendimiento.