Campus
Diagrama de temas
-
El método de retención implica dividir el conjunto de datos original varios conjuntos diferentes. Esencialmente, es un proceso de muestreo de datos y una de las técnicas más básicas para abordar el problema del sobreajuste. Se crean dos o tres de estos subconjuntos, donde cada subconjunto se utiliza para un propósito diferente.- Conjunto de entrenamiento: datos que se usan para entrenar el modelo. En otras palabras, los datos de los que el modelo aprende. En el aprendizaje automático supervisado, el conjunto de entrenamiento incluye etiquetas objetivo para los datos reales.
- Conjunto de validación: el modelo no aprende de este conjunto de datos. Se usa para evaluar qué tan bien puede funcionar el modelo en un nuevo conjunto de datos en el que no se entrenó. Por ejemplo, en función del rendimiento del modelo en el conjunto de validación, podría determinar que necesita ajustar algunos valores del algoritmo hasta que mejore el rendimiento. Estará familiarizado con los datos del conjunto de validación y tendrá acceso a las etiquetas del mismo. Este conjunto en particular es opcional.
- Conjunto de prueba: este es otro conjunto etiquetado con datos que el modelo no vio durante el entrenamiento. No lo usaría para ajustar el rendimiento (como lo haría con un conjunto de validación), sino solo para evaluar el ajuste final del modelo.
Figura 1. Uso del método de retención para crear un conjunto de validación y de prueba.
Es posible que no se necesite un conjunto de validación en todas las situaciones. Por lo general, solo se usa en situaciones en las que hay una configuración para el algoritmo de aprendizaje (hiperparámetros) que puede ajustarse, ya que el ajuste del rendimiento es la razón principal para usar un conjunto de validación. Si usa un conjunto de validación, los porcentajes típicos para dividir los datos son un 60 % de entrenamiento, un 20 % de validación y un 20 % de prueba. Si solo usa un conjunto de entrenamiento y de prueba, las divisiones típicas son entre un 70-80 % de entrenamiento y un 20-30 % de prueba. De cualquier manera, puede ver que la mayoría de los datos se usan normalmente para el entrenamiento con el fin de producir un modelo mejor. Los porcentajes de división de datos dependen de la situación. Los profesionales pueden ajustar las cantidades divididas para producir el mejor resultado.
Nota: Desafortunadamente, los términos "conjunto de validación" y "conjunto de prueba" a menudo se usan indistintamente en el campo del aprendizaje automático, lo que puede ser confuso.
Campus
