Cómo limpiar los datos para el análisis predictivo - dummies

Antes de ejecutar un análisis predictivo, deberá asegurarse de que los datos estén limpios de elementos extraños antes de poder utilizarlos en su modelo. Esto incluye buscar y corregir cualquier registro que contenga valores erróneos e intentar completar los valores faltantes. También deberá decidir si incluye registros duplicados (dos cuentas de clientes, por ejemplo).

El objetivo general es garantizar la integridad de la información que está utilizando para construir su modelo predictivo. Preste especial atención a la integridad, exactitud y puntualidad de los datos.

Es útil crear estadísticas descriptivas (características cuantitativas) para varios campos, como calcular min y max, verificar distribución de frecuencias (con qué frecuencia ocurre algo)) y verificar los rangos esperados. Ejecutar un control regular puede ayudarlo a marcar cualquier dato que esté fuera del rango esperado para una mayor investigación. Cualquier registro que muestre jubilados con fechas de nacimiento en la década de 1990 puede marcarse con este método.

Además, verificar la información es importante para asegurarse de que los datos sean precisos. Para un análisis más profundo de las características de los datos y la identificación de la relación entre los registros de datos, puede utilizar perfiles de datos (análisis de disponibilidad de datos y recopilación de estadísticas sobre la calidad de los datos) y herramientas de visualización.

La falta de datos podría deberse al hecho de que no se registró información particular. En tal caso, puede intentar completar todo lo que pueda; los valores predeterminados adecuados se pueden agregar fácilmente para llenar los espacios en blanco de ciertos campos.

Por ejemplo, para pacientes en una sala de maternidad del hospital donde falta un valor en el campo de género, la aplicación simplemente puede completarlo como femenina. En ese caso, para cualquier hombre que ingresó en un hospital con un registro faltante del estado de embarazo, ese registro se puede completar de manera similar ya que no corresponde.

Se puede deducir un código postal que falta para una dirección del nombre de la calle y la ciudad que se proporciona en esa dirección.

En los casos donde la información es desconocida o no se puede inferir, entonces necesitaría usar valores otros que un espacio en blanco para indicar que faltan los datos sin afectar la exactitud del análisis. Un espacio en blanco en los datos puede significar muchas cosas, la mayoría de ellas no son buenas ni útiles. Siempre que pueda, debe especificar la naturaleza de ese espacio en blanco mediante relleno de lugar significativo.

Así como es posible definir una rosa en un maizal como una mala hierba, los valores atípicos pueden significar cosas diferentes para diferentes análisis.Es común que algunos modelos se construyan únicamente para rastrear esos valores atípicos y marcarlos.

Los modelos de detección de fraude y el monitoreo de actividades criminales están interesados ​​en esos valores atípicos, que en tales casos indican que se está produciendo algo no deseado. Por lo tanto, se recomienda mantener los valores atípicos en el conjunto de datos en casos como estos. Sin embargo, cuando los valores atípicos se consideran anomalías dentro de los datos y solo sesgan los análisis y dan lugar a resultados erróneos, elimínelos de sus datos.

La duplicación en los datos también puede ser útil o molesta; algo de esto puede ser necesario, puede indicar valor y puede reflejar un estado preciso de los datos. Por ejemplo, un registro de un cliente con múltiples cuentas se puede representar con múltiples entradas que (técnicamente, de todos modos) son duplicadas y repetitivas de los mismos registros.

De la misma manera, cuando los registros duplicados no aportan valor al análisis y no son necesarios, eliminarlos puede ser de gran valor. Esto es especialmente cierto para grandes conjuntos de datos donde la eliminación de registros duplicados puede simplificar la complejidad de los datos y reducir el tiempo necesario para el análisis.

Puede prevenir preventivamente que ingresen datos incorrectos en sus sistemas mediante la adopción de algunos procedimientos específicos:

• Verificación de la calidad del instituto y validación de datos para todos los datos que se recopilan.

• Permita que sus clientes validen y autocorrigen sus datos personales.

• Proporcione a sus clientes valores posibles y esperados para elegir.

• Ejecuta comprobaciones rutinarias sobre la integridad, la coherencia y la precisión de los datos.