Para encontrar el mejor ajuste posible para un modelo de regresión, necesita una manera de determinar los valores para los parámetros del modelo (θi) que conducirán a este mejor ajuste. Esto implica evaluar el rendimiento del modelo en los datos de entrenamiento. En lugar de evaluar qué tan bien el modelo hace las estimaciones, en la regresión, es más común evaluar qué tan mal estima, en otras palabras, su costo.

Una función de costo intenta cuantificar el error entre los valores estimados y los valores de entrenamiento etiquetados reales. Lo hace calculando la diferencia entre los dos. En otras palabras, el modelo de aprendizaje automático identifica lo malo que es para estimar la relación entre las variables independientes y dependientes (x e y). Una parte importante del proceso de aprendizaje es el acto de minimizar esta función de costo mediante la determinación de los parámetros óptimos del modelo. La ecuación normal, por ejemplo, es un método para minimizar la función de costo. Además, las próximas técnicas de regularización incorporan la función de costo en su intento de mejorar el rendimiento.

Uno de los métodos que puede utilizar para ajustar un modelo de regresión es la regularización. Regularización es la técnica de simplificar un modelo de aprendizaje automático mediante la restricción de sus parámetros, lo que ayuda al modelo a evitar el sobreajuste a los datos de entrenamiento. Esto normalmente implica forzar uno o más parámetros del modelo para incluir solo valores dentro de un intervalo pequeño o forzar los parámetros a 0. Esto ayuda a minimizar el efecto de los valores atípicos en el modelo.

En un modelo de aprendizaje automático, puede controlar la cantidad de regularización estableciendo el hiperparámetro λ (lambda). A medida que aumente el valor de λ, será menos probable que el modelo se sobreajuste a los datos de entrenamiento. Esto se debe a que usted está disminuyendo la varianza en el modelo. Sin embargo, la disminución de la varianza aumenta el sesgo, por lo que debe tener cuidado de no hacer λ demasiado grande. Esto no se ajustaría lo adecuado al modelo, lo que le impediría realizar estimaciones útiles en los datos de entrenamiento.

Un método común para seleccionar un valor λ es utilizar la validación cruzada para muestrear aleatoriamente los datos varias veces para un valor λ y, a continuación, repetir el proceso para valores λ diferentes. A continuación, puede elegir el valor λ que mejor minimice el error total.

Nota: λ es la letra griega lambda.

La regularización simplifica un modelo aplicando el hiperparámetro λ de restricción. Más específicamente, este hiperparámetro forma parte de un término que se agrega a la función de costo. Este término penaliza el modelo si sus valores de parámetro son demasiado altos y, por lo tanto, mantiene los valores de parámetro pequeños. En realidad, hay varias técnicas para aplicar la regularización a un modelo, cada una de las cuales utiliza un término de regularización diferente. Las siguientes son tres técnicas de regularización que han encontrado el mayor éxito.

Técnica de regularización	Descripción
Regresión de cresta	Utiliza una función matemática llamada norma l2 para implementar su término de regularización. La norma l2 es la suma de coeficientes cuadrados, y el objetivo es minimizarla. Esto ayuda a mantener los pesos de los parámetros del modelo pequeños, lo que reduce el sobreajuste. La regresión de cresta es adecuada en conjuntos de datos con un gran número de características, cada una de las cual tiene al menos cierta potencia de estimación. Esto se debe a que la regresión de cresta ayuda a reducir el sobreajuste sin eliminar realmente ninguna de las características por completo.
Regresión de lazo	Utiliza la norma l1 para implementar su término de regularización. La norma ℓ1 fuerza los coeficientes de las características menos relevantes a 0, en otras palabras, eliminándolos del modelo. Al igual que con la regresión de cresta, esto ayuda al modelo a evitar el sobreajuste a los datos de entrenamiento. A diferencia de la regresión de cresta, la regresión de lazo es adecuada en conjuntos de datos que solo tienen un número pequeño o moderado de características que tienen una potencia de estimación moderada. La regresión de lazo es capaz de eliminar el resto de las entidades que no tienen un efecto significativo en los datos, lo que puede conducir a un mejor rendimiento del modelo que mantenerlos y reducirlos, como en la regresión de cresta.
Regresión de red elástica	Utiliza un promedio ponderado de la regresión de cresta y lazo como parte de su término de regularización. Es, por lo tanto, un intento de aprovechar lo mejor de las normas l1 y l 2. Junto con λ, la regresión de red elástica también utiliza el hiperparámetro α de relación. El valor α especifica qué técnica de regresión ejerce más influencia sobre el resultado, donde los valores más cercanos a 0 favorecen la regresión de cresta y los valores más cercanos a 1 favorecen la regresión de lazo. Al igual que la regresión de lazo, la regresión de red elástica tiende a funcionar bien cuando solo hay un número pequeño a moderado de características que son realmente relevantes (aunque, dependiendo de α, también puede ser igual a la regresión de cresta). La regresión neta elástica suele ser preferible, ya que la regresión de lazo puede no funcionar de forma óptima cuando el número de entidades supera con creces al número de ejemplos de entrenamiento. Del mismo modo, la regresión neta elástica tiende a funcionar mejor en situaciones donde varias entidades presentan una alta correlación. La regresión de cresta pura puede seguir siendo ideal si la eliminación de incluso un pequeño número de entidades podría perjudicar la habilidad de estimación del modelo.

Nota: α es la letra griega alfa.

En la mayoría de los casos, independientemente de la técnica específica que elija, es una buena idea aplicar al menos alguna forma de regularización mientras se entrena un modelo de regresión lineal. Sin embargo, solo debe realizar la regularización durante el entrenamiento; al evaluar el rendimiento del modelo después del entrenamiento, no debe utilizar el hiperparámetro de regularización.
Colinealidad

La regresión de cresta aborda el problema de la colinealidad, en el que dos entidades exhiben una relación lineal, en otras palabras, las entidades están exactamente o muy estrechamente relacionadas en términos de cómo influyen en la variable dependiente. La colinealidad, por lo tanto, hace que sea difícil determinar cómo cada entidad tiene un efecto en la salida de forma independiente. La multicolinealidad se refiere al mismo concepto, pero puede extenderse a más de dos entidades.

Información adicional