En un conjunto relacional de datos, los datos que faltan, también llamados datos nulos, normalmente se refieren a cualquier valor de datos que no exista para una intersección determinada entre una fila y una columna. Por ejemplo:

ID del estudiante	Apellido	Nombre	Resultado de la prueba
0001	Ferard	Catherine	98.5
0002	Murphy	Jeremy
0003	Haverson	Maria	75.5

Falta el resultado de la prueba de Jeremy Murphy en el conjunto de datos. Si tuviera que intentar tomar la media de Test Score, puede producir un error debido a ese valor faltante. Cada herramienta de análisis de datos y de lenguaje de programación controla los valores faltantes de manera diferente, pero muchos de ellos al menos le indicarán que faltan valores y dónde se produce la faltante. Sin embargo, tenga en cuenta que algunos valores considerados "faltantes" en realidad se completarán y no será tan fácil detectarlos. Si hubiera un signo de interrogación en la celda de puntuación de la prueba de Jeremy Murphy en lugar de estar completamente vacía, entonces tendría que buscar específicamente signos de interrogación en lugar de valores sin completar. Por lo tanto, debe prestar atención a cómo las fuentes de datos indican que faltan datos, ya que pueden hacerlo de maneras inusuales o no estándares.

Nota: Las filas y columnas enteras que faltan no se pueden identificar fácilmente mediante una herramienta automatizada y, en su lugar, requieren más análisis e investigación.

Aunque las herramientas de datos pueden controlar los valores que faltan por sí solas, es mejor si decide exactamente cómo tratar los datos que faltan. Si simplemente no lo tiene en cuenta, el algoritmo puede hacer frente a los datos que faltan, pero el modelo resultante puede no funcionar también. Al preparar los datos, puede quitar registros con valores que faltan, pero eso también puede ser una mala opción, dependiendo de cuántos registros tenga que eliminar y qué otros datos contengan. Demasiados registros eliminados pueden limitar la eficacia del modelo, especialmente si los datos que faltan solo constituyen un pequeño porcentaje de las características generales.

En algunos casos, el mejor enfoque puede ser imputar los valores faltantes. Imputación significa proporcionar su mejor estimación para completar los valores que faltan. Hay numerosas estrategias para hacer esto. Algunos ejemplos se describen aquí.

Método de imputación	Descripción
Imputación de media o modo	Calcule la media o el modo de todos los elementos que no faltan en esa columna y, a continuación, utilice el resultado para rellenar los valores que faltan. Por ejemplo, para completar la calificación de estudiante que falta, solo tomaría la media de todas las calificaciones de los estudiantes menos los valores que faltan. Este enfoque es simple, ya que conserva el valor de la media/modo y el tamaño de la muestra. Sin embargo, puede que no sea tan bueno como otros métodos enumerados aquí.
Sustitución	Utilizar datos a partir de un nuevo registro que aún no está en la muestra. Por ejemplo, es posible que encuentre otra fuente de calificaciones de estudiantes con la que puede sustituir la que falta.
Imputación Hot Deck	Busque registros en el ejemplo que tengan valores similares en todos los demás elementos de datos que el que falta y copie el valor que falta de uno de los registros similares. Si hay más de un registro similar, seleccione aleatoriamente el que copia. Por ejemplo, si faltaba la calificación de un estudiante para una sola asignatura (por ejemplo, clase de Historia), podría encontrar a otro estudiante con calificaciones similares en las asignaturas restantes y, a continuación, reutilizar la puntuación de Historia de ese alumno como la puntuación de Historia para el alumno con el valor que falta.
Imputación Cold Deck	Similar a la imputación de hot deck, pero en lugar de extraer de la misma muestra en la que se encuentra el valor que falta, se extrae de una muestra externa. Por ejemplo, es posible que se haya registrado una muestra diferente de estudiantes en el pasado reciente, por lo que intentará encontrar un estudiante similar en esa muestra.

Información adicional

Los algoritmos del aprendizaje automático descubren patrones en los datos a través de diferentes enfoques. En algunos casos, la distribución de los datos es un factor primario y la magnitud real de los valores es secundaria, irrelevante o activamente perjudicial para el proceso. Por lo tanto, es posible que deba aplicar funciones de escalado a las variables numéricas para enfatizar su distribución, restando énfasis a las diferencias en las escalas. De lo contrario, una característica podría ejercer más influencia que otra simplemente porque trata con números a mayor escala. El escalado es especialmente importante cuando se utilizan algoritmos basados en la distancia mientras que los algoritmos basados en el árbol no requieren que se escalen las características.

Imagine que tiene un conjunto de datos de vehículos con dos características numéricas: miles_driven y years_old. El problema es que el primero tiene números que probablemente se extienden a cientos de miles mientras que el segundo tendrá un valor máximo en las decenas. Ambas características podrían ser igualmente útiles para realizar una tarea de aprendizaje automático, por ejemplo, estimar el valor de un automóvil en el mercado. Pero, teniendo en cuenta que las características pertenecen a escalas muy diferentes, los algoritmos basados en la distancia podrían tratar a miles_driven como mucho más importante. Por lo tanto, debe asegurarse de que el algoritmo considere cada característica en términos de distribución de los valores. Los dos enfoques principales para ello son la normalización y la estandarización.

La normalización implica transformar una característica de forma que el valor más bajo sea un 0 y el valor más alto sea un 1. Por lo tanto, cualquier vehículo que tenga menos millas recorridas tendrá un 0 en lugar de cualquiera que sea el verdadero valor. Y, el vehículo con más millas recorridas tendrá un 1 en lugar del valor real. El mismo principio exacto se aplica también a la edad del vehículo y a cualquier otra característica numérica que usted crea que necesita ser escalada. Ahora el algoritmo de aprendizaje automático verá la distribución de estas características en lugar de los valores absolutos.

La estandarización también proporciona escalado, pero lo hace de una manera diferente. Calcula la puntuación z de un valor (también llamada puntuación estándar) como el número de desviaciones estándar en que la muestra está por encima o por debajo de la media de todos sus valores. Puede obtener la puntuación z de las millas recorridas de cualquier vehículo, la antigüedad, etc. Estas puntuaciones se estandarizan para que cada característica tenga un valor medio de cero y una desviación estándar tenga un valor medio de 1. Una vez más, esto enfatiza la distribución de la característica en lugar de su escala absoluta.

Un enfoque no es necesariamente mejor que el otro en todos los casos. La normalización tiende a ser útil cuando los datos sin procesar no siguen una distribución normal y usted desea usar los datos con un algoritmo que no suponga ningún tipo particular de distribución. Además es bueno para minimizar el efecto de los valores atípicos. Dado que la estandarización no tiene límites superiores o inferiores, no minimiza los valores atípicos de la misma manera. A menudo es útil para cuando los datos sin procesar ya están distribuidos normalmente y solo desea asegurarse de que dos características estén en la misma escala. Aun así, por lo general es mejor experimentar con ambos para determinar qué es lo mejor para una situación determinada.

Información adicional 

Para obtener más información sobre la normalización en contraposición a la estandarización, consulte este sitio.

La codificación de datos es el proceso de conversión de datos de un tipo determinado en un valor codificado de un tipo diferente. Esto normalmente significa tomar letras y palabras y convertirlas en números. El número resultante se convierte en una nueva característica dentro del conjunto de datos y la característica original se elimina o se deja de lado cuando se crea un modelo.

La codificación de datos es importante porque muchos algoritmos de aprendizaje automático simplemente no pueden controlar los datos categóricos que se representan como texto. Por ejemplo, supongamos que tiene una city característica que tiene los valores posibles 'Berlin', 'London' y 'Rochester'. Se trata de una variable categórica y el algoritmo debe tratarla como tal. Pero en lugar de alimentar esos nombres directamente al algoritmo, es probable que deba convertirlos en números primero. Sin embargo, tenga en cuenta que la codificación de una variable categórica no significa que se convierta en una característica numérica. La característica sigue siendo categórica, aunque se esté representando mediante un número.

Hay muchos métodos para codificar variables categóricas. Uno de los más frecuentes se conoce como codificación one-hot. Mediante este método, crea una columna ficticia para cada valor único de una característica categórica. Por ejemplo, puede crear tres columnas denominadas isBerlin, isLondon e isRochester. La presencia de cada categoría está representada por 1 y su ausencia se representa mediante 0. Esto garantiza que el algoritmo de aprendizaje automático no asignará a ninguna categoría (Berlín, Londres o Rochester, en este caso) más valor que a las demás. Un método de codificación relacionado es la codificación ficticia, que crea n #LioxSpecialChar8722# 1 columnas, mientras que la codificación one-hot crea n columnas, donde n es el número de valores únicos en la variable categórica.

Otro esquema de codificación que puede encontrar es la codificación de etiquetas. La codificación de etiquetas traduce cada valor único de una etiqueta en números independientes. Entonces, city_encoded tendría [0, 1, 2] como valores posibles, dónde 0 es Berlín, 1 es Londres y 2 es Rochester. Sin embargo, esto implica cierto rango, donde un modelo de aprendizaje automático podría percibir que Rochester es el mejor clasificado, lo que podría no ser la intención del proceso.

Información adicional

Recuerde que la diferencia entre una variable continua y una variable discreta es que una variable continua es incontable porque no tiene espacios bien definidos entre los valores, mientras que una variable discreta tiene espacios claros. Algunos algoritmos, como los árboles de decisión, tienen dificultades para trabajar con variables continuas porque el árbol puede seguir dividiéndose una y otra vez hasta que se vuelve demasiado grande e ineficiente. Si identificó características útiles en el conjunto de datos que tengan variables continuas, es posible que deba diseñar características discretas a partir de ellas antes de introducir los datos en un algoritmo.

Convertir una variable continua en una variable discreta puede simplificar y mejorar en gran medida el rendimiento de los modelos. El método principal para hacer esto es tomar una variable continua y colocar sus valores dentro de intervalos específicos e independientes; un proceso también llamado agrupamiento de datos.

En un conjunto de datos de personas que corrieron un maratón, cambiar la característica Time a Time in Hours es un ejemplo de agrupamiento de una variable continua. Si supone que el corredor más rápido terminó la carrera en alrededor de 2 horas y al más lento le tomó alrededor de 10 horas, podría colocar un tiempo en uno de los 8 intervalos de horas diferentes. Una buena regla general es no usar más de 20 contenedores totales. Ahora que la variable es discreta, los algoritmos de aprendizaje automático como los árboles de decisión podrán controlarla.

Información adicional
Para obtener más información sobre el agrupamiento de datos, consulte este sitio.

En algunos casos, una característica del conjunto de datos podría beneficiarse de la división en dos o más características. Por ejemplo, supongamos que tiene una característica llamada name que contiene nombres y apellidos. Por lo tanto, uno de los valores podría ser 'Emily Williams'. Si las variaciones en los nombres presentan un impacto en cualquier problema que su modelo esté tratando de resolver (por ejemplo, determinar la ascendencia), entonces estos datos podrían ser más útiles si los nombres y apellidos se dividieran de acuerdo con sus propias características por separado. De esta manera, el modelo puede aprender de estos dos tipos de nombres de forma independiente en lugar de considerarlos como una porción única de información.

La división de las características es común con datos en texto como los nombres, las ubicaciones, los identificadores y los títulos. La decisión de dividir o no una cadena de este tipo se informará principalmente conociendo el dominio. Tal vez location = 'Rochester, NY, US' dividir en city = 'Rochester' state = 'NY'y country = 'US' arrojará mejores estimados, o tal vez no. Debe considerar la posibilidad de experimentar con el análisis y el modelado para observar cómo las diferentes divisiones producen resultados diferentes.

La división de las características también es común con los valores de fecha y hora. Por ejemplo, es posible que desee tomarlo date = 2021-02-25 y convertirlo en características independientes para year month y day.

Agregar a las características totales de un conjunto de datos (también llamada dimensionalidad), como cuando se divide una única variable en varias variables, puede hacer que un modelo sea más efectivo. Después de todo, al modelo se le dan características más potencialmente útiles de las que aprender. Por desgracia, no siempre es así. Algunas características pueden ser redundantes o hacer que el proceso de aprendizaje sea demasiado ruidoso, lo que puede complicar los procesos de análisis y creación de modelos y tener un impacto negativo en el rendimiento. Si el número de ejemplos de datos permanece constante, en algún momento, agregar a la dimensionalidad de un conjunto de datos realmente comenzará a reducir la capacidad del modelo para aprender patrones útiles de los datos. Esto se llama la maldición de la dimensionalidad.

La reducción de dimensionalidad es el proceso de simplificar un conjunto de datos mediante la eliminación de características redundantes o irrelevantes. La reducción de dimensionalidad puede ayudar a reducir el problema de ajustar un modelo tan estrechamente a los datos de entrada que el modelo tiene un rendimiento deficiente en las nuevas muestras de datos (un problema denominado "sobreajuste"). La reducción de dimensionalidad también puede disminuir el tiempo de cálculo y aliviar los problemas de espacio de almacenamiento.

Dos categorías de reducción de dimensionalidad son la selección de entidades y la extracción de características.

En la selección de características, se selecciona un subconjunto de las características originales. Este subconjunto incluye características relevantes o únicas, y excluye las características consideradas redundantes o irrelevantes para el problema. El modelo aprende de este subconjunto en lugar de aprender de todo el conjunto de datos. La selección de características es especialmente útil en los conjuntos de datos que tienen un número desproporcionadamente grande de entidades en comparación con los ejemplos de datos reales.

En la extracción de características, se derivan nuevas características de las originales. Esto se hace normalmente mediante la combinación de varias características correlacionadas en una sola. Por ejemplo, si está tratando de predecir cuándo un avión de carga necesitará reparaciones, la característica years_in_service probablemente se correlaciona en gran medida con las características miles_traveled y flight_time, por lo que las tres pueden combinarse en una característica derivada que representa el uso general del avión. La extracción de características es particularmente útil en aplicaciones de visión artificial como el procesamiento de imágenes.

Si bien el objetivo es minimizar la pérdida de datos útiles tanto como sea posible, todavía existe el riesgo de que esto suceda. Sin embargo, la reducción de dimensionalidad casi siempre vale la pena, especialmente con conjuntos de datos complicados y ricos en características.

Análisis de componentes principales

El análisis de componentes principales (PCA) es uno de los métodos de reducción de dimensionalidad más comunes. Realiza un tipo de extracción de características tomando datos que están en dimensiones altas (es decir, tiene muchas columnas) y proyectando esos datos en un espacio de dimensiones iguales o inferiores (es decir, menos columnas). Por lo tanto, reduce eficazmente la dimensionalidad del conjunto de datos al tiempo que conserva información significativa.

Información adicional