Una característica objetivo es la variable sobre la que está interesado en aprender más. A menudo, esto significa la variable para la que está tratando de hacer estimaciones, como el valor de una casa. O bien, podría describir una forma de categorizar algo, como a qué especie pertenece un animal. Una característica objetivo también se puede utilizar simplemente para determinar cómo modificar el propio conjunto de datos para optimizarlo para algún otro propósito. En cualquiera de estos casos, la característica objetivo es de importancia primordial para el conjunto de datos. Recuerde que, en el aprendizaje automático supervisado, los conjuntos de datos están etiquetados. La característica etiquetada es la misma que la característica objetivo, es sobre lo que desea que la máquina tome decisiones.

Es posible que no siempre sea claro cuáles deben ser realmente las características objetivo. Esto puede ser cierto incluso cuando se trabaja con un conjunto de datos limpio. Parte del análisis de dicho conjunto de datos será identificar realmente una o más características objetivo. Una comprensión profunda del problema que está tratando de resolver es la mejor manera de comenzar, ya que esto revelará buenos candidatos para las características objetivo en la mayoría de las situaciones. Por ejemplo, si un estudio de cine desea determinar si debe o no financiar una secuela, las características objetivo podrían ser: cuánto dinero hizo la película en taquilla; cuántos usuarios vieron la película en los servicios de transmisión; las puntuaciones promedio de revisión que recibió la película; y así sucesivamente. Todas estas características pueden medir el rendimiento de una película de diferentes maneras y el rendimiento de una película ayuda a los estudios a decidir para qué películas vale la pena hacer secuelas y cuáles no.

En situaciones en las que su conocimiento del problema no siempre le ayuda a decidir qué características objetivo elegir, debe considerar la posibilidad de investigar estudios de casos del mundo real o ejemplos que sean similares al problema que está intentando resolver o usar conjuntos de datos similares. El trabajo realizado por otros puede proporcionarle la información que necesita para elegir las mejores características objetivo.

Del mismo modo, la elección de las características objetivo puede ser más obvia cuando se tiene en cuenta qué tipo de modelo se está intentando crear. Si desea crear un modelo que pueda clasificar datos y el conjunto de datos solo tiene una variable categórica, es muy probable que esa variable sea la característica objetivo que está buscando. Por lo tanto, conocer los tipos de características es una vez más importante.

Información adicional

Incluso después de haber identificado los tipos de características y las características objetivo en el conjunto de datos, no necesariamente ha terminado. Como ha visto, los conjuntos de datos rara vez están en un estado perfecto. Una cosa que debe tener en cuenta es que las características en sí mismas tienen ciertos grados de relevancia para el problema en cuestión. Si bien la característica age puede parecer un gran predictor de la característica objetivo income, puede haber sutilezas que sus suposiciones no tienen en cuenta. Algunas características son menos relevantes que otras para servir a cualquier propósito al que se supone que deben servir. Esto a menudo solicita a un profesional de la IA que elimine características, las consolide, las divida, cualquier cosa que haga que el conjunto de datos sea más viable. Esto se debe a que una característica irrelevante puede afectar significativamente la potencia de un modelo para realizar predicciones o estimar algo sobre el mundo real.

Una vez más, una comprensión de su conjunto de datos y el problema que está tratando de resolver puede ayudarle a identificar características irrelevantes. Incluso si no posee esta comprensión, puede trabajar con expertos en la materia que tengan más experiencia en el dominio del problema. Sin embargo, esto puede ayudarlo mucho, ya que la relación entre las características es lo que está tratando de estudiar. En el caso del aprendizaje automático, es exactamente lo que está tratando de obtener una máquina para determinarlo por usted. Existen varias técnicas para determinar la relevancia de las características, pero en este punto, solo sepa que empaquetar los conjuntos de datos llenos de entidades no siempre está garantizado para producir mejores resultados. En realidad, podría tener el efecto contrario.

En el campo de la estadística, los datos a menudo se colocan en uno de dos contextos: poblaciones y muestras. Una población incluye todas las observaciones individuales dentro del dominio del problema que se estudia. Una muestra es cualquier subconjunto de esa población. Por ejemplo, una población podría incluir a todos los estudiantes que asisten a una universidad específica. Una muestra de esa población incluiría a varios, pero no a todos, de esos estudiantes.

La distinción es importante porque, en muchos casos, no tendrá acceso a los datos de población. Todo se reduce al dominio del problema que se está estudiando. Si desea estimar la edad de los estudiantes en una universidad específica, es posible que tenga acceso a la población y no necesite una muestra. Pero, ¿qué pasaría si quisiera calcular la edad de los estudiantes universitarios en todo el país? El ámbito de su población se amplió considerablemente y puede que no sea factible adquirir realmente todos estos datos. Aquí es donde tomar una muestra de la población se vuelve importante. Idealmente, esta muestra (o múltiples muestras combinadas) será capaz de aproximarse a los patrones inherentes de toda la población.

Por ejemplo, la muestra podría incluir a todos los estudiantes de una universidad. Usted podría determinar la edad promedio de todos los estudiantes en esta muestra y luego usar ese resultado para sacar conclusiones sobre la edad promedio de los estudiantes universitarios en todo el país. No es un proceso perfectamente preciso, ya que la edad promedio de la muestra podría no ser la misma que la edad promedio de la población (suponiendo que pueda determinar esto). Aun así, los resultados de una muestra a menudo son lo suficientemente cercanos como para ser útiles para resolver el problema.

Información adicional

Una idea similar a la relevancia de la característica es la de los datos representativos. Los datos de muestra de una población son representativos si funcionan bien en aproximarse a las características de esa población más amplia. Supongamos que tiene un conjunto de datos donde cada fila es un estudiante de su escuela. Si tiene 40 estudiantes como muestra, y 32 de ellos son mujeres y 8 son hombres, su muestra realmente no es representativa de la población más amplia de estudiantes, especialmente si sabe que todo el cuerpo estudiantil está más cerca de una división de 50/50. Por lo tanto, cualquier resultado que obtenga del uso de esta muestra puede ser subóptimo, ya que ha tergiversado un grupo demográfico clave del cuerpo estudiantil.

El tamaño de la muestra también puede derivar en datos no representativos. Es posible que 40 estudiantes sea demasiado pocos para capturar una variedad lo suficientemente amplia de datos demográficos de los estudiantes, incluso si cada miembro de esa muestra es lo suficientemente diferente de todos los demás miembros. Por supuesto, hay limitaciones para el muestreo representativo, ya que no es posible tener en cuenta cada variación en la mayoría de los escenarios. Del mismo modo, debe haber al menos algún punto en común entre los miembros de su muestra, o de lo contrario no habrá patrones que reconocer o tendencias que estimar.

Una solución común al problema de la representación es el muestreo aleatorio estratificado. Para esta solución, el profesional identifica grupos clave (por ejemplo, demografía como género, raza, edad, etc.) que son relevantes para el problema y luego divide a la población en estos grupos (estratos). Dentro de cada estrato, se eligen miembros de forma aleatoria. A continuación, todos estos miembros se compilan a partir del ejemplo. Esto garantiza que la muestra final contendrá datos que son más representativos de la población que solo una muestra aleatoria normal o una muestra escogida a mano.

Por lo tanto, al analizar los conjuntos de datos, debe examinar las características categóricas para identificar aquellas que tienen el potencial de ser estratos clave. Una vez que identifique estos estratos, puede determinar qué proporción de los ejemplos de datos están en cada estrato y cómo se compara con la población más amplia. Tenga en cuenta que la representación no siempre implica una división uniforme. Si el 80 % de toda la población estudiantil es femenina, su muestra de 32 estudiantes mujeres y 8 hombres es realmente representativa en ese sentido. Además, puede estar en una posición en la que no se conocen las proporciones de cada estrato en la población, lo que dificulta o incluso imposibilita saber qué es o no es representativo.

Información adicional

La definición más común de un conjunto de datos desequilibrados es aquella cuya frecuencia de cada valor es desproporcionada en una variable categórica, especialmente cuando se trata de la variable de destino. Por ejemplo, supongamos que usted tiene un conjunto de datos de personas y desea crear un modelo que pueda clasificar a cualquier persona como zurda o diestra. Aproximadamente el 90 % de los habitantes del mundo es diestro mientras que el 10 % es zurdo. Para que el conjunto de datos de ejemplo sea realmente representativo de la población, también se dividiría de esta manera. Sin embargo, esto crea un desequilibrio de clases. Solo el 10 % de todos los ejemplos de datos del conjunto están etiquetados como zurdos.

Los conjuntos de datos desequilibrados pueden ser un desafío, especialmente cuando se trata del aprendizaje automático. El modelo debe aprender del conjunto de datos y su utilidad puede verse afectada negativamente si la mayor parte de lo que ve es una categoría y no otra. Para este escenario en particular, no es tanto un problema, ya que todo el propósito es clasificar la lateralidad, algo que es, por naturaleza, desequilibrado. Pero, ¿qué pasa si su conjunto de datos no es (y debido a cualquier número de factores, no puede ser) verdaderamente representativo? Supongamos que tiene un conjunto de datos meteorológico en el que cada fila es un día y la entidad de destino es si llovió o no ese día. La mayoría de los días se etiquetan como clase 0 (no), mientras que muy pocos se etiquetan como clase 1 (sí). Si esta es la primera muestra que se recopiló del entorno, es posible que no tenga idea de si esto es realmente representativo de la población. Tal vez los datos se recopilaron durante la estación seca. Por lo tanto, es posible que el modelo resultante no funcione tan bien en situaciones futuras.

Los conjuntos de datos desequilibrados también tienen un efecto en las métricas que se usan para evaluar los modelos de clasificación. Algunas métricas son más adecuadas que otras a la hora de evaluar este tipo de modelos. Por lo tanto, es importante que identifique la frecuencia de todos los ejemplos de datos del conjunto de muestras que pertenecen a cada clase. Esto es bastante trivial para la mayoría de los entornos de análisis de datos, y se puede realizar utilizando números puros, o incluso visualmente.

Nota: También es posible describir los conjuntos de datos con variables de destino continuas como desequilibrados. La mayoría de los ejemplos pueden ubicarse dentro de cierto rango, con algunos ejemplos en un rango muy diferente. Aquí es donde entra en juego una discusión de errores, valores atípicos y ruido.

Información adicional

Los valores específicos de un conjunto de datos pueden ser inexactos, erróneos o no deseados. Estos valores pueden deslizarse a través de las grietas incluso después de que haya realizado procedimientos de limpieza en el conjunto de datos durante el proceso de ETL. Si no se abordan, pueden afectar la calidad de los modelos o inducir a error durante el análisis. Por ejemplo, un conjunto de datos puede contener lo siguiente.

Al poner en práctica la IA y el aprendizaje automático, es común explorar las correlaciones entre las variables. En estadística, una correlación es una asociación matemática entre dos variables. Cuando las variables se correlacionan, se sugiere que cada variable tiene algún tipo de efecto sobre la otra. La naturaleza de este efecto puede variar, pero todas las correlaciones revelan al menos alguna relación entre las variables. Muchos enfoques del análisis de los datos e incluso de los algoritmos de aprendizaje automático buscan correlaciones entre los valores de los datos. Correlaciones como estas pueden mejorar el poder predictivo y de toma de decisiones tanto del profesional como de los modelos que ellos construyen.

Por ejemplo, supongamos que está desarrollando un modelo estadístico para predecir el aumento y la caída de las poblaciones de las ciudades a lo largo del tiempo. Es posible que observe que existe una correlación entre la disponibilidad de empleo y la población total. En promedio, más empleos disponibles podrían significar una mayor población. Por supuesto, la correlación puede no ser perfecta. Una ciudad con un índice de disponibilidad de empleo elevado podría tener una población más pequeña que una ciudad con un índice de disponibilidad de empleo más bajo. Pero, en general, si descubre que las ciudades con mayor disponibilidad de empleo tienden a tener poblaciones más grandes, podría decirse que hay una correlación positiva entre las variables job_availability y total_population. Por lo tanto, el modelo podría hacer un mejor trabajo al predecir la población futura de una ciudad en función de su índice de disponibilidad de empleo.

Es importante tener en cuenta que las correlaciones pueden o no ser causales. En otras palabras, el cambio en una variable puede o no ser la causa directa de un cambio en otra variable. Otras variables o incluso otros factores pueden afectar las variables que esté estudiando. O bien, la causa y el efecto pueden ser lo contrario de lo que piensa. Considere el ejemplo de la población de las ciudades. ¿Un aumento en la disponibilidad del empleo realmente implica una población más grande, o una población más grande implica el crecimiento de la industria, que a su vez implica más puestos de trabajo disponibles? Al analizar los datos en busca de correlaciones, es una buena idea ejercer el pensamiento crítico y evitar sacar conclusiones precipitadas sobre el poder de una variable para cambiar otra.