Analizar y hacer más fiables los datos

Introducción

El objetivo de este capítulo es repasar las herramientas y recursos que se pueden utilizar para comprender y analizar mejor los datos. Los datos pueden tener distintas facetas, entre ellas la de estar estrechamente ligados a un contexto, de modo que se pueden interpretar de una manera en un contexto determinado y de otra completamente distinta (incluso opuesta), en otro. Además, los datos tienen vida propia y se pueden variar o alterar con el tiempo o simplemente sufrir cambios durante su transporte o en su soporte de almacenamiento.

Por eso, antes de utilizar cualquier dato, es importante analizarlo para comprobar que se corresponde con nuestras expectativas en el momento de utilizarlo. Imaginemos que recuperamos conjuntos de datos no documentados ni explicados. En este caso, será esencial pasar por el proceso de análisis. Es una buena práctica asegurarse de que los datos que se van a utilizar son realmente conformes, y este es el objetivo de este capítulo.

Primero veremos cómo analizar nuestros datos desde una perspectiva técnica o estructural: es lo que se conoce como perfilado de datos. Este análisis se centra principalmente en los tipos, formatos y número de ocurrencias de los datos y no requiere ningún conocimiento particular de los mismos. El objetivo de esta fase es establecer una visión objetiva de los componentes estructurales de los datos y destacar las características...

Preparar los datos

Por desgracia, los datos no siempre están listos para ser utilizados. Sin trabajarlos, rara vez es posible extraer los datos para obtener los resultados esperados (como la evolución de las ventas, el cálculo de un indicador de satisfacción, etc.). En la gran mayoría de los casos, habrá que reelaborar los datos en bruto para hacerlos utilizables para el análisis, la ingesta o incluso la modelización (Machine Learning).

Una cosa es cierta: aunque de algún modo esta fase es la cara oculta del iceberg, no deja de ser una etapa importante y, sobre todo, puede llevar mucho tiempo si no se lleva a cabo con las competencias y los recursos adecuados. Por ejemplo, se dice que los analistas de datos y otros científicos de datos dedican más del 80% de su tiempo a prepararlos. Esto les deja solo un 20% de su tiempo para trabajar con ellos.

Por lo tanto, la preparación de los datos consiste en recogerlos y transformarlos para poder trabajar con ellos. Son las dos primeras fases de nuestro famoso ETL (o ELT). Y con razón, el enfoque es muy similar, aunque la finalidad suele ser muy distinta. En un enfoque de tipo ETL, los datos se transportan en última instancia a una (o varias) fuentes de datos de destino, con vistas a un amplio análisis. Con la preparación de datos, el objetivo es prepararlos para un fin específico.

La tendencia que estamos observando...

Análisis descriptivo

En primer lugar, hay que señalar que el análisis de datos requiere que estos estén disponibles en formato tabular (filas y columnas). Por tanto, este capítulo trata de los datos estructurados. Actualmente, todas las soluciones (o casi todas) trabajan con datos estructurados de esta forma. Una vez disponibles los datos en este formato, se trata de analizarlos desde un punto de vista técnico, describirlos e identificar, por qué no, un primer nivel de excepciones (por ejemplo, la detección de valores atípicos).

Esta etapa tiene varios nombres: se denomina análisis descriptivo o perfilado de datos (Data Profiling).

Este análisis debe describir la muestra de datos (o todo su conjunto), perfilando cada columna para descubrir información importante sobre atributos, como frecuencia y distribución de los valores de los datos, formatos, patrones y nulos, mínimos y máximos. A continuación, se leen todos los datos para proporcionar un análisis y un inventario exhaustivos.

Pero las herramientas y las soluciones a menudo pueden llevarle mucho más lejos en términos de análisis. Veamos en detalle los diferentes análisis que se pueden realizar sobre un conjunto de datos, sin tener ningún conocimiento funcional del mismo. Para hacerlo, podríamos utilizar herramientas No Code como Informatica, Talend o SAS DataFlux que, con un simple clic, pueden obtener este tipo de resultados. Pero aquí vamos a utilizar la librería Python Pandas Profiling, para que cualquiera pueda probar este tipo de análisis en su propio ordenador.

Para instalar la librería, basta con ejecutar el comando pip:

$ pip install pandas_profiling 

Todo lo que tiene que hacer es abrir un dataframe con la librería Pandas y lanzar el profiling:

from pandas_profiling import ProfileReport  
import pandas as pd  
train = pd.read_csv('../datasources/titanic/tren.csv') 
prof = ProfileReport(tren)  
prof.to_file(output_file='informe.html') 

A continuación, la librería proporciona un archivo HTML...

Análisis exploratorio y visualización de datos

Gracias al perfilado de datos, podemos comprender mejor cómo se estructuraron y formatearon. Por lo tanto, al igual que en el capítulo anterior, este capítulo solo trata de los datos estructurados. Hasta entonces, seguíamos en la parte descriptiva del análisis de datos. Este tipo de análisis rara vez es suficiente porque, como hemos visto en muchas ocasiones, los datos solo tienen valor y significado cuando se sitúan en su contexto. Por lo tanto, es esencial profundizar en este análisis inicial y pasar a la fase exploratoria propiamente dicha.

A continuación, buscaremos vínculos entre los datos, tendencias, agrupaciones, etc. Aquí es donde realmente podemos encontrar valor en los datos que exploramos. Pero seamos francos: a este nivel, no existe ninguna herramienta mágica que nos permita tomar los datos de entrada y obtener las conclusiones correctas de salida. Es esencial conocer bien la empresa, el contexto e incluso las organizaciones implicadas. Será necesario combinar conocimientos funcionales, herramientas adecuadas y un conjunto de datos representativo para obtener los resultados correctos.

En lo que respecta a las herramientas, o más bien al tipo de herramientas, tenemos que fijarnos en la visualización de datos (DataViz). Gracias a su flexibilidad y a su enfoque visual, estas herramientas permiten extraer las conclusiones adecuadas de los datos. De hecho, se han convertido en herramientas indispensables para analizarlos.

Algunos ejemplos de análisis

Calidad de los datos

Acabamos de ver cómo analizar y calificar los datos desde un punto de vista técnico con la elaboración de perfiles de datos y desde un punto de vista funcional, con su visualización. Pero, ¿cómo determinar si los datos son de buena calidad?