Aumento de gradiente

Otro método de conjunto que incorpora varios árboles de decisión se denomina aumento de gradiente. Los algoritmos de aumento de gradiente crean modelos en etapas, donde los árboles de decisión pasados influyen en cómo se construyen los árboles de decisión posteriores. Esto los diferencia de los bosques aleatorios, donde cada árbol se construye de forma independiente y luego se muestrea aleatoriamente, lo que concluye en el voto mayoritario. Con el aumento del gradiente, los árboles se construyen de manera aditiva, donde cada árbol intenta corregir los errores del árbol anterior. Eso significa que sus conclusiones se desarrollan de forma iterativa, en lugar de determinarse de una sola vez. El algoritmo comienza generando árboles de decisión que tienen baja habilidad de clasificación (llamados aprendices débiles) y luego combina a esos aprendices débiles en un árbol de decisión eventual con alta habilidad de clasificación (llamado aprendiz fuerte).

Los modelos de aumento de gradiente pueden conducir a un mejor rendimiento en comparación con los bosques aleatorios, especialmente para conjuntos de datos desequilibrados. Sin embargo, son altamente susceptibles al sobreajuste en los casos en que los datos son ruidosos, y también pueden tardar más en entrenarse que los bosques aleatorios, ya que los árboles se construyen de forma iterativa en lugar de independiente. Los modelos de aumento de gradiente también son difíciles de ajustar. En términos de aplicaciones del mundo real, el aumento de gradiente ha tenido éxito en tareas como la clasificación de páginas para buscadores, la evaluación de riesgos en tiempo real y el análisis de datos científicos.

Información adicional