La clasificación es la tarea de colocar ejemplos de datos en categorías, y el tipo más simple de clasificación es la clasificación binaria. En la clasificación binaria, se determina que un ejemplo de datos es un 1 o un 0. O es algo, o no lo es. Está activado o desactivado. Existe o no existe. En otras palabras, solo hay dos opciones.

En un problema de clasificación, la línea de división que separa las clases negativas de las positivas es el límite de decisión. Esto determina a qué clase pertenece un ejemplo en función del valor que estima entre 0 y 1. Un límite de decisión se puede expresar como las siguientes instrucciones, donde p̂ es el valor de estimación e ŷ es la clasificación:

Nota: Observe el uso del símbolo “sombrero” por encima de y y p. Este símbolo se utiliza a menudo para denotar una estimación de un modelo.
Por lo tanto, si el modelo calcula un valor de estimación mayor o igual que 0,50, entonces clasifica esa instancia como un 1 (recomendará el juego). Si el valor de estimación es menor que 0,50, el modelo clasifica la instancia como 0 (no recomendará el juego). Cuando se grafica en una función sigmoidea, esto tendría un aspecto similar al siguiente:

El límite de decisión en una función sigmoidea es capaz de tener en cuenta el valor atípico, lo que mejora la capacidad del algoritmo para clasificar los ejemplos de datos. Puede configurar un límite diferente en función de los datos y el contexto del problema que está intentando resolver. Un límite de decisión de 0,50 no siempre es la mejor opción posible.

El algoritmo k vecino más cercano (k-NN) es un enfoque de clasificación alternativo en el que un ejemplo de datos se coloca en una clase en función de sus similitudes con otros ejemplos de datos. Estas similitudes se derivan del espacio de características (es decir, la combinación de todas las características de entrenamiento). Por ejemplo, desea clasificar un cuerpo de agua como un lago o un océano. Si un cuerpo de agua es más grande por superficie y profundidad máxima, es más similar a los cuerpos de agua etiquetados como océanos que a los etiquetados como lagos. Por lo tanto, k-NN clasificará el ejemplo como un océano.

Nota: También puede ver k-NN abreviado como KNN.
La k en k-NN define el número de ejemplos de datos que son los vecinos más cercanos del ejemplo en cuestión. “Más cercano” en este caso se refiere a la distancia entre los puntos de datos cuando se asignan al espacio de la característica. Mediante k, k-NN realiza una votación de estos puntos vecinos para determinar cómo clasificar el ejemplo en cuestión. En la siguiente figura, k = 3, por lo que el algoritmo toma un voto de los tres vecinos más cercanos al ejemplo de datos (la X verde). Dado que dos de los tres vecinos están en la clase 0 (círculos azules oscuros), el ejemplo de datos se clasifica como 0 (lago).

En comparación con la regresión logística, k-NN es más fácil de implementar porque en realidad no “aprende” de la misma manera que los algoritmos de aprendizaje automático típicos; en otras palabras, no mejora su capacidad de clasificación a través del entrenamiento. También genera una clasificación directamente en lugar de una probabilidad (es decir, genera un 0 o 1). Sin embargo, k-NN puede tardar mucho tiempo en calcular las clasificaciones de los conjuntos de datos grandes, por lo que se prefiere la regresión logística en esos casos.

Nota: k-NN también puede resolver problemas de regresión, pero se utiliza con mayor frecuencia en la clasificación.

Información adicional

Para obtener más información sobre k-NN, consulte este sitio.

Al igual que muchos hiperparámetros en el aprendizaje automático, la elección de k en k-NN depende en última instancia de la naturaleza de los datos de entrenamiento y la salida que está buscando. No hay necesariamente un valor perfecto para k en todas las circunstancias conocidas. Cuanto más grande sea k, menos “ruidoso” se vuelve el conjunto de datos con respecto a la clasificación; en otras palabras, se reduce el efecto de anomalías o ejemplos mal etiquetados. Sin embargo, esto también conduce a límites menos distintos entre las clases, y puede aumentar el costo computacional. Los valores más bajos de k son mejores para mantener estos límites distintos, pero son menos efectivos para minimizar el efecto del ruido en los datos.

Consulte el siguiente ejemplo. En la figura, el valor de k de antes (3) se ha ajustado a un nuevo valor (5) en el mismo conjunto de entrenamiento. El modelo ahora clasifica el ejemplo como un 1 (océano) en lugar de un 0 (lago) porque hay más votos de 1 (triángulos azul claro) que votos de 0 entre los cinco vecinos más cercanos. Un cambio de k como este puede cambiar totalmente la clasificación que recibe un ejemplo de datos.

Una regla general a la hora de seleccionar k es hacer que k sea siempre impar cuando se tiene un problema de clasificación binaria; esto elimina la posibilidad de que haya un empate en la votación. Otro enfoque para seleccionar k se denomina bootstrapping e implica tomar la raíz cuadrada del número total de ejemplos de datos en el conjunto de entrenamiento. El valor resultante es aproximadamente la k que debe considerar usar. También puede utilizar una técnica de prueba de rendimiento como la validación cruzada para ayudar a determinar un valor aceptable para k.

Las máquinas de vectores de soporte (SVM) son algoritmos de aprendizaje supervisado que se pueden utilizar para resolver problemas de clasificación y regresión. Los SVM separan los valores de datos mediante un hiperplano. El hiperplano incluye un límite de decisión que es una función de línea o curva. A cada lado de este límite hay una función de línea o curva que es paralela y equidistante al límite de decisión. Estas funciones se denominan márgenes de vectores de soporte. Las funciones en cualquiera de los bordes de estos márgenes son los vectores de soporte.

Es mucho más fácil comprender el concepto de SVM mediante el uso de elementos visuales, así que considere la siguiente figura, en la que un hiperplano se traza en un gráfico.

Cómo se construye un hiperplano y cómo se aplica a los datos dependen del tipo de problema de aprendizaje automático que está intentando resolver. La figura anterior demostró un hiperplano aplicado a un problema de clasificación lineal; es decir, un problema de clasificación cuyas clases se pueden dividir razonablemente utilizando una línea recta cuando se asignan a un espacio de características.

En la ilustración siguiente, el gráfico de la izquierda muestra un límite de decisión mediante un algoritmo de clasificación lineal estándar. El límite de decisión en este gráfico hace un buen trabajo al separar ambas clases en el espacio de características, pero se acerca mucho a los ejemplos de datos de borde. Esto probablemente dará lugar a problemas de sobreajuste, ya que los nuevos datos de prueba pueden no generalizarse bien utilizando este modelo. Compare esto con el modelo introducido anteriormente (a la derecha de esta figura), que utiliza SVM. El límite de decisión se traza de tal manera que no solo divide las clases, sino que permanece lo más lejos posible de los ejemplos de borde. Las líneas discontinuas crean los márgenes de separación intersectando los ejemplos de arista.

Ahora, observe lo que sucede cuando se evalúa un nuevo ejemplo de prueba en el modelo.

Aunque el ejemplo de prueba tiene los mismos valores cuando se conecta a ambos modelos, el modelo con SVM lo clasificó de manera diferente. Por lo tanto, las SVM son útiles en tareas de clasificación en las que los datos de entrenamiento incluyen valores atípicos. Tienden a superar la regresión logística y otros algoritmos de clasificación en este sentido. Sin embargo, cuando se usan SVM, es muy importante escalar los datos, más que en otros algoritmos de clasificación. Si una característica tiene valores mucho más grandes que otra, tendrá una influencia indebida en las distancias que se calculan entre los vectores de soporte y el límite de decisión. La distribución de los puntos de datos es más importante en este caso que el rango de cada característica.

Nota: Las SVM también pueden resolver problemas de clasificación no lineal, pero una discusión de esto está más allá del ámbito de este curso.

Información adicional

Una de las aplicaciones más comunes del mundo real de la clasificación Naïve Bayes es en el filtrado de spam. Los filtros de spam pueden analizar el texto de los correos electrónicos para que cada componente textual (por ejemplo, una palabra o frase) se analice independientemente de los demás. La presencia de ciertas palabras o frases puede solicitar al modelo que clasifique un mensaje de correo electrónico como “spam” o “no spam”, independientemente de cómo aparezcan estas palabras o frases en un contexto más amplio. Además, los clasificadores Naïve Bayes han encontrado éxito en el análisis de sentimientos, como determinar si los usuarios están satisfechos con un producto o servicio basado en el contenido de sus publicaciones en redes sociales.

Información adicional

Otro algoritmo que puede realizar la clasificación es un árbol de decisión. Un árbol de decisión es una disposición de las declaraciones condicionales y sus conclusiones en una estructura rama-hoja. Considere la siguiente figura, en la que está intentando determinar si un nuevo jugador recomendará o no su videojuego a otros usuarios.

Un árbol de decisión se parece a un diagrama de flujo, donde cada “rama” representa una decisión basada en alguna condición y cada “hoja” representa una salida. Los nodos de decisión reciben la entrada en función de decisiones anteriores hasta que esa rama concreta termina en una hoja.

En este ejemplo, los rectángulos son los nodos de decisión y los óvalos son los valores de salida. Los valores de salida en este caso son etiquetas de clasificación. Las decisiones son “Sí” o “No”. Cualquier ejemplo de datos (un jugador) debe comenzar en el nodo de decisión raíz (clasificación del jugador). Si el jugador le ha dado al juego una calificación baja, el modelo predice inmediatamente que no lo recomendará. Si el jugador no le da al juego una calificación baja, pasa al siguiente nodo (tiempo de juego). Si han jugado más de 100 minutos en su sesión, el modelo predice que recomendarán el juego. Si el jugador no juega durante tanto tiempo, continúa hasta el nodo de decisión final (edad). Si tienen menos de 24 años, el modelo predice que darán una recomendación. Si tienen menos de 24 años, el modelo predice que no darán una recomendación. En última instancia, cualquier ejemplo de datos que se somete a este árbol de decisión recibirá una clasificación basada en sus características.

Los árboles de decisión se usan ampliamente en el aprendizaje automático porque son fáciles de entender y no requieren tanta preparación de datos como algunos otros algoritmos. Esto se debe a que la estructura del árbol de decisión será la misma en un conjunto de datos, independientemente de los procedimientos como el escalado o la ingeniería de características que aplique.

Nota: Los árboles de decisión no solo son capaces de clasificación, sino también de tareas de regresión.

El índice de Gini se calcula para cada valor de una característica, luego se toma una suma ponderada para que esos valores produzcan el índice de Gini definitivo para una característica. Este proceso se repite para el resto de las características del conjunto de datos. La característica con el nivel más alto de pureza (G = 0), y por lo tanto el índice de Gini más bajo, se elige como el nodo de decisión raíz.

Nota: En el contexto de la división del árbol de decisión, el nombre “índice de Gini” es una referencia a una medida de la desigualdad de ingresos, similarmente llamada índice de Gini. También se conoce como el coeficiente de Gini. Lleva el nombre de Corrado Gini, el estadístico que desarrolló la medición de la desigualdad.

Información adicional

Para obtener más información sobre CART, consulte este sitio.

Los siguientes son algunos de los principales hiperparámetros asociados con CART.

Hiperparámetro	Descripción
max_depth	Utilice esto para especificar qué tan “profundo” debe ir el árbol, es decir, el número de nodos de decisión de la raíz a la salida más lejana, que se relaciona con el número de veces que se dividen los datos. Si no especifica una profundidad máxima, CART seguirá dividiendo el conjunto de datos hasta que G (pureza) de todas las salidas sea 0, o hasta que todos los nodos de decisión sean menores que el valor de min_samples_split. En su búsqueda por lograr altos niveles de pureza de decisión, los árboles de decisión tienden a ser víctimas del sobreajuste, especialmente cuando el conjunto de datos tiene muchas características. El parámetro max_depth es una forma de regularizar el entrenamiento para evitar el sobreajuste. No hay necesariamente un valor de profundidad ideal para todos los escenarios; debe evaluar el rendimiento del modelo para determinar el valor ideal para su tarea específica.
min_samples_split	Utilice esta opción para especificar cuántas muestras (por ejemplo, ejemplos de datos) son necesarias para dividir un nodo de decisión. Al aumentar este valor, se restringe el modelo porque cada nodo debe contener muchos ejemplos antes de que se pueda dividir. Esto puede ayudar a minimizar el sobreajuste, pero restringir demasiado el modelo puede conducir a un ajuste insuficiente.
min_samples_leaf	Utilícelo para especificar cuántas muestras deben estar en un nodo de salida. Una vez más, aumentar este valor puede reducir el sobreajuste, pero también tiene la oportunidad de conducir a un ajuste insuficiente.

Nota: Los nombres exactos de los parámetros pueden diferir en función de la biblioteca de programación utilizada; los nombres de la tabla anterior se basan en scikit-learn, la biblioteca principal de aprendizaje automático para Python.

El aprendizaje de conjuntos es una aplicación de aprendizaje automático en el que las estimaciones de varios modelos se consideran juntas. El objetivo es obtener una estimación más hábil de la que obtendría cualquier modelo de forma aislada. Aunque un único modelo entrenado con un conjunto específico de hiperparámetros puede parecer que resuelve un problema de clasificación o regresión, no es necesariamente la forma óptima de resolver el problema. Los estudios han demostrado que la agregación de estimaciones de múltiples modelos, especialmente un conjunto diverso de modelos, tiende a conducir a mejores estimaciones.

Por ejemplo, puede entrenar varios modelos en el problema de la encuesta de videojuegos. Uno de los modelos se puede entrenar mediante una regresión logística; otro podría ser entrenado usando Bayes ingenuo; otro utilizando un árbol de decisión; y así sucesivamente. Cada modelo puede alcanzar un cierto nivel de habilidad, dependiendo de cómo mida esa habilidad. Simplemente elegir el modelo que tiene lo mejor de cualquier medición de habilidad no le garantiza resultados ideales. En su lugar, muchos métodos de aprendizaje de conjuntos utilizan un sistema de votación por mayoría que selecciona la clase que está determinada por la mayoría de los modelos. Por ejemplo, los siguientes modelos determinan un clasificador binario para el problema de los videojuegos:

      - Modelo de regresión logística

           - Exactitud: 78%

           - Estimación: Clase 1

     - Modelo bayesiano ingenuo

           - Exactitud: 86%

           - Estimación: Clase 0

     - Modelo CART
           - Exactitud: 81%
           - Estimación: Clase 1

Por lo tanto, el método de conjunto determinaría la clase 1 porque es la mayoría. A pesar de que el modelo que bayesiano ingenuo tenía la mayor precisión, su estimación de 0 no se considera tan útil como el voto mayoritario. Esto puede parecer contraintuitivo, pero considere cómo funciona la probabilidad: cuando se tira un dado de seis caras, la probabilidad de obtener cualquier número es de aproximadamente el 16,66 %. Si tira el dado 100 veces, es posible que no obtenga una distribución uniforme de aproximadamente 16 resultados para cada número. Sin embargo, cuantos más tiros realice, mayores serán sus posibilidades de obtener esa distribución uniforme. Tirar el dado 100.000 veces tendrá una mayor probabilidad de acercarse a esa división uniforme del 16,66 %. Esto es similar a por qué el aprendizaje de conjuntos es tan efectivo: más modelos pueden conducir a mejores resultados.

No todos los métodos de conjunto agregan un conjunto diverso de modelos de entrenamiento. En realidad, algunos agregan varios modelos que usan el mismo algoritmo: la única diferencia es que cada modelo se entrena en un subconjunto diferente de los datos. El método de conjunto genera estos subconjuntos mediante un muestreo aleatorio de los datos de entrenamiento generales para cada modelo.

Un bosque aleatorio es un método de conjunto que agrega varios modelos de árbol de decisión y, en una tarea de clasificación, selecciona el modo de los clasificadores entre todos los árboles de decisión.

En otras palabras, la clasificación que obtiene la mayor cantidad de votos entre todos los árboles de decisión es la clasificación que genera el bosque aleatorio. Al igual que con otros métodos de conjunto, esto normalmente resulta en una clasificación más hábil que si hubiera construido un solo árbol y utilizado sus resultados, o construido varios árboles y simplemente elegido el que tiene la mayor precisión. Otra forma de pensar en esto es que un bosque aleatorio reduce la tendencia de un solo modelo a sobreajustar a los datos de entrenamiento porque el bosque presenta niveles más bajos de varianza.

La mayoría de los bosques aleatorios utilizan una técnica de muestreo de datos llamada agregación de bootstrap, más comúnmente acortada a embolsado. Esta técnica muestrea el conjunto de datos de entrenamiento para cada árbol individual, con reemplazo. “Con reemplazo” significa que un ejemplo de datos puede aparecer en varios modelos diferentes. El embolsado tiende a conducir a una menor varianza, lo que reduce aún más el sobreajuste.

Nota: Los bosques aleatorios, al igual que otros algoritmos basados en árboles, no requieren que las características se escale para el entrenamiento.

Información adicional

Otro método de conjunto que incorpora varios árboles de decisión se denomina aumento de gradiente. Los algoritmos de aumento de gradiente crean modelos en etapas, donde los árboles de decisión pasados influyen en cómo se construyen los árboles de decisión posteriores. Esto los diferencia de los bosques aleatorios, donde cada árbol se construye de forma independiente y luego se muestrea aleatoriamente, lo que concluye en el voto mayoritario. Con el aumento del gradiente, los árboles se construyen de manera aditiva, donde cada árbol intenta corregir los errores del árbol anterior. Eso significa que sus conclusiones se desarrollan de forma iterativa, en lugar de determinarse de una sola vez. El algoritmo comienza generando árboles de decisión que tienen baja habilidad de clasificación (llamados aprendices débiles) y luego combina a esos aprendices débiles en un árbol de decisión eventual con alta habilidad de clasificación (llamado aprendiz fuerte).

Los modelos de aumento de gradiente pueden conducir a un mejor rendimiento en comparación con los bosques aleatorios, especialmente para conjuntos de datos desequilibrados. Sin embargo, son altamente susceptibles al sobreajuste en los casos en que los datos son ruidosos, y también pueden tardar más en entrenarse que los bosques aleatorios, ya que los árboles se construyen de forma iterativa en lugar de independiente. Los modelos de aumento de gradiente también son difíciles de ajustar. En términos de aplicaciones del mundo real, el aumento de gradiente ha tenido éxito en tareas como la clasificación de páginas para buscadores, la evaluación de riesgos en tiempo real y el análisis de datos científicos.

Información adicional