Los datos pueden estar sesgados cuando no representan con precisión la población o el problema para el que se utilizan. Muchos conjuntos de datos, e incluso la mayoría de estos, sufren de algún tipo de sesgo. Si usa datos sesgados en la creación de un modelo de aprendizaje automático, el modelo resultante estará sesgado y sus resultados serán defectuosos. De hecho, podrían producirse resultados discriminatorios o perjudiciales para los seres humanos. Para mitigar el impacto del sesgo en los datos, debe examinar los datos en busca de sesgo como parte del proceso de modelado. Al hacerlo, busque estos tipos de sesgo:

Información adicional

Los archivos de texto, también conocidos como archivos de valores separados por comas (CSV), contienen datos en formato de texto donde cada valor está separado por un carácter de coma (,). Este carácter de separación también se denomina delimitador. El delimitador ayuda a los programas que toman el archivo como entrada y analizan los datos dentro del archivo, a menudo como una tabla con filas y columnas. Al examinar el delimitador, el programa puede determinar qué texto es una fila, qué texto es una etiqueta de columna y qué texto es un valor para una columna específica.

Nota: Las comas no son el único delimitador posible en un archivo de texto, simplemente tienden a ser las más comunes. Algunos otros delimitadores incluyen tabulaciones, canalizaciones (|), dos puntos (:) y punto y coma (;).
Los archivos de texto contienen solo texto, no se compilan como un archivo ejecutable u otro archivo binario y se pueden abrir en cualquier editor de texto para ver su contenido. En la siguiente ilustración, puede ver el contenido de un archivo CSV tal como aparece en un editor de texto simple.

Muchos lenguajes de programación como Python tienen bibliotecas con funciones que pueden leer un archivo CSV y abrir los datos en el entorno de programación para que pueda trabajar con él. La forma en que se hace esto difiere con cada lenguaje de programación, pero la mayoría le dan opciones para especificar cosas como:

En algunos casos, el lenguaje de programación puede hacer suposiciones basadas en los datos. Por ejemplo, la función pandas read_csv() en Python convertirá automáticamente el texto 'Joe' en un tipo de datos de cadena porque está entre comillas. Una cadena es un tipo de datos utilizado por los lenguajes de programación para almacenar datos de texto. Esa misma función utilizará la primera fila del archivo de texto como encabezados de columna. Al leer archivos CSV en un entorno de programación, es importante comprobar que todo se leyó como esperaba. No desea que los encabezados de columna se conviertan en valores de datos reales, por ejemplo.

Los archivos CSV son algunas de las formas más simples de almacenar datos y, por lo tanto, son un formato común para compartir conjuntos de datos abiertos.

La agregación de datos es el proceso en el que se resumen los datos de algún tipo. Normalmente, esto hace para realizar análisis estadísticos en datos y como parte de la extracción de datos para proyectos de IA y AA, ya que la mayoría de los algoritmos de IA y AA se basan en el análisis estadístico. Por ejemplo, si deseara saber el precio promedio de una vivienda en el área de Seattle en el último año, agregaría todos los precios de venta de viviendas sumándolos y luego dividiéndolos por el número de viviendas vendidas.

Es común agregar datos de tabla a medida que ingresan en la fase de extracción. De este modo, puede asegurarse de que los datos están en un formato que es más fácil de interpretar o un formato que es más coherente con otros orígenes de datos que utiliza. Cuando se trabaja con bases de datos estructuradas mediante comandos SQL, se hace mediante la palabra clave GROUP BY, emparejadas con una función de agregación como COUNT, SUM, AVG, etc. Por ejemplo, supongamos que tiene una columna llamada sale_price en la base de datos real_estate y desea devolver una tabla que enumere cada vecindario y el precio de venta promedio de las viviendas en ese vecindario. Podría escribir:



SELECT neighborhood , AVG(sale_price) AS avg_price FROM real_estate GROUP BY neighborhood

NoSQL se refiere a cualquier tecnología de base de datos no relacional. No es necesariamente un lenguaje, protocolo o tecnología específicos, sino simplemente una forma de describir cualquier base de datos que no almacene datos como tablas relacionales. NoSQL es popular en el mundo de big data porque tiende a ser más rápido y más eficiente que las bases de datos relacionales en el tratamiento de grandes volúmenes de datos no estructurados o semiestructurados. Muchas redes sociales almacenan los datos para sus plataformas como datos no estructurados.

Dado que NoSQL tiene varios enfoques distintos, no hay un estándar de consulta universal como SQL para bases de datos relacionales. Cada implementación es diferente. Si el proyecto requiere datos NoSQL, tenga en cuenta que los métodos de acceso y búsqueda utilizados en el origen de datos dictarán cómo se deben extraer los datos.

Soluciones NoSQL

Información adicional

Aparte de adquirir datos y llevarlos a un entorno de IA o ML, la otra parte importante de la fase de extracción de ETL es consolidar los datos. En otras palabras, combinar datos similares en una forma más simplificada que sea más propicia para transformarse y cargarse.

La consolidación puede referirse a un par de cosas diferentes, dependiendo del contexto. Una forma de ver la consolidación es considerar los datos desde una perspectiva granular, es decir, hasta los propios valores de los datos. Por ejemplo, una fuente de datos que rastrea los electrodomésticos de cocina puede tener una columna llamada weight_lbs y otra fuente de datos que rastrea de los cubiertos tiene una columna llamada weight_ounces. Ambos valores hacen referencia a la misma característica: el peso del producto. Si desea combinar estos orígenes en un único conjunto de datos, puede que esté bien que tenga dos columnas de peso diferentes. Pero también es posible que desee optimizar los datos mediante la consolidación de los pesos en una columna, ya sea peso en libras, peso en onzas o algo más. Puede convertir los datos en la unidad de medida elegida. En última instancia, será más fácil administrar el conjunto de datos.

Otra forma de realizar la consolidación es cambiar la estructura de los datos en su conjunto. Supongamos que tiene dos fuentes de datos que rastrean los electrodomésticos de cocina. El primer origen de datos tiene muchas columnas diferentes que describen cada dispositivo, incluidos weight, price, units_sold y mucho más. La segunda fuente enumera algunos de los mismos productos exactos, pero con una columna que no está en la primera fuente color. El segundo origen también incluye algunas filas de productos que ni siquiera están en el primer origen. Para consolidar los datos de estos dos orígenes en un único conjunto de datos que contenga la información que desee, puede utilizar un proceso llamado combinación para crear un nuevo conjunto de datos a partir de otros orígenes de datos.

Cuando se discuten los tipos de datos, realmente puede estar refiriéndose a una de dos cosas: los tipos de características de alto nivel o los tipos de datos legibles por máquina. El primero se refiere a la forma general en que los valores de datos representan una o más observaciones. Esto tiene un impacto significativo en cómo se puede trabajar con esos datos, incluida la forma en que se preparan, cómo se analizan y cómo se modelan. Hay tres tipos principales de características:

Por otro lado, los tipos de datos, también llamados formatos de datos, además se refieren a las formas en que los lenguajes de programación representan los datos para su ejecución por hardware informático. Estos tipos de datos tienen un impacto directo en la forma en que un programa interpreta los datos. Entre los ejemplos de los tipos de datos con los que podría estar familiarizado se incluyen:

Es importante comprender estas diferencias, ya que las características y los tipos de datos no siempre se asignan uno a uno. Por ejemplo, no todos los datos categóricos se representan mediante una cadena. La característica Home Sold podría contener el entero 1 en lugar de la cadena 'Yes' y el entero 0 en lugar de la cadena 'No'.

Una variable continua es una variable cuantitativa cuyos valores son incontables y pueden extenderse infinitamente dentro de un determinado rango. Considere el tiempo que tarda un corredor de larga distancia en completar una maratón. Un ser omnisciente podría decir que alguien terminó la carrera en exactamente 3 horas, 10 minutos, 37 segundos, 845 milisegundos y así sucesivamente, continuando indefinidamente con una precisión perfecta. 

Obviamente, los jueces humanos deben conformarse con un cronómetro de una imperfecta precisión. El cronómetro podría indicar que la carrera tomó 3 horas, 10 minutos y 37 segundos. Aunque la variable no se midió con una precisión perfecta, todavía se considera una variable continua porque puede tomar todos los valores reales entre un conjunto de valores. Otra forma de pensar acerca de las variables continuas es que normalmente se representan como fracciones, como 3 / 2 o 1.5. Si convirtiera la medida del cronómetro en una fracción decimal, obtendría 3.1769444… horas.

Ciertos métodos de análisis y algoritmos de AA no pueden funcionar de manera eficaz con variables continuas. Por el contrario, una variable discreta es aquella cuyos valores son contables y limitados, porque hay una brecha definida entre cada valor en un rango de valores. Una característica como Time in Minutes que utiliza un tipo de datos entero es una variable discreta porque es 120, 121, 122, 123, etc., y no se puede dividir en valores más precisos. A diferencia de las variables continuas, las variables discretas se representan normalmente como números enteros.

La diferencia entre variables continuas y discretas influirá en cómo se tratan los datos en varias fases del proceso de análisis y modelado, incluida la transformación de datos. Por ejemplo, las variables continuas suelen tener el formato de flotantes mientras que las variables discretas suelen tener el formato de enteros.

Proceso de analizar datos como entrada y luego representarlos en una determinada estructura o sintaxis. Puede analizar datos sin procesar y transformarlos en datos con formato correcto. Por ejemplo, puede haber un archivo CSV donde cada línea de texto se convierte en un registro en una tabla relacional. O bien, puede analizar datos que ya tienen un formulario definido, pero desea cambiar ese formulario en algo diferente. Por ejemplo, puede convertir los datos de una página web con formato HTML en una tabla de datos.

Nota: Hay muchas maneras en que los datos se pueden representar en HTML, por lo que el analizador debe ser capaz de identificar elementos específicos, separarlos en objetos distintos y reformarlos en el formato de destino.

La mayoría de las herramientas de análisis de la IA y el AA tienen capacidades de análisis automatizadas con formatos de datos comunes. Con ellas es posible determinar el tipo de datos y la estructura general necesaria para los datos. Aun así, algunos tipos de datos requieren trabajo manual para su análisis. Los lenguajes de marcado como HTML tienden a requerir una mayor entrada manual porque pueden representar datos de muchas maneras. En ese caso, es posible que deba proporcionar instrucciones a un analizador o configurarlas de alguna manera para que la conversión de los datos sea más exitosa.

Siempre que sea necesario, debe asegurarse de que todos los datos se analizan en los formatos de trabajo antes de continuar con las tareas de transformación.

Una canalización automatiza el proceso de aprendizaje automático para que se puedan introducir nuevos datos en el modelo con el fin de producir nuevas salidas. Una canalización de aprendizaje automático realizará todos los pasos que forman parte del proceso, desde la extracción de datos hasta la implementación del modelo, y creará servicios independientes a partir de ellos. Entonces, se puede acceder a esos servicios, o a un subconjunto de esos servicios, y usarlos en otras áreas fuera del proyecto original.

Por ejemplo, si creó un proceso de AA de reconocimiento de imágenes para identificar alimentos no envasados y cobrar a los clientes en el momento del proceso de pago, puede ampliar la utilidad de la solución de aprendizaje automático a la atención sanitaria mediante la creación de una canalización. Al acceder a los componentes de la canalización y entrenar el algoritmo en nuevos datos de imagen, la solución se puede aplicar como un sistema de detección de cáncer para encontrar células cutáneas anormales.

Archivos de datos

/home/student/ITSAI/ETL/Accessing and Managing Data for AI.ipynb
/home/student/ITSAI/ETL/data/kc_house_data.csv
/home/student/ITSAI/ETL/data/kc_house_data.db

Escenario

Deberá cargar el archivo de texto kc_house_data.csv y revisará brevemente los datos para asegurarse de que sea utilizable y determinará cuántos registros hay. Se le dio acceso a un archivo de base de datos que contiene más datos de viviendas. Deberá cargar la base de datos kc_house_data.db y revisar esos datos para ver si los dos orígenes de datos pueden combinarse. Luego, deberá combinar los dos orígenes de datos en una única tabla.

Nota: Todo el código de las actividades de este curso ya fue escrito para usted. Simplemente deberá ejecutar el código y ver los resultados.

Nota: Recuerde que si se le pide en cualquier momento que inicie sesión, el nombre de la cuenta es student y la contraseña es Pa22w0rd.