Middleware Services: Data Quality Assurance - Dummies

Debe establecer dos servicios diferentes de control de calidad (QA) en el flujo de servicios de middleware. Debe realizar las primeras tareas de control de calidad contra el extracto de la fuente de datos antes de realizar cualquier otro servicio de middleware.

Aseguramiento de la calidad de los datos: parte I

Trate de detectar (y corregir) errores y problemas tan pronto como sea posible en el proceso. Mover datos hacia el almacén de datos no tiene sentido si los problemas son tan importantes que requieren un esfuerzo significativamente mayor para corregirlos más adelante en el proceso o simplemente no se pueden corregir.

Entonces, ¿qué tipo de problemas debería buscar? Aquí hay algunos:

• Valores en elementos de datos que exceden un rango razonable: Un cliente ha enviado 150 millones de órdenes de compra el mes pasado, por ejemplo, o un empleado ha trabajado con la compañía durante 4, 297 años., de acuerdo con la base de datos de empleados y la fecha de contratación almacenada.

• Valores en los elementos de datos que no se ajustan a la lista oficial y completa de valores permitidos: Un valor puede tener un código A, por ejemplo, cuando los únicos valores permisibles para ese campo son M y F. (Si ¡ese campo fue etiquetado GÉNERO, A podría significar andrógino!)

• Inconsistencias de tablas cruzadas: Para las entradas en la tabla CUSTOMER_ORDER, no existen entradas correspondientes (identificadas por CUSTOMER_ID) en CUSTOMER_MASTER_TABLE.

• Incoherencias entre campos: Registros que tienen un estado o código postal incorrecto para la ciudad indicada.

• Valores perdidos: Registros que tienen valores perdidos en ciertos campos donde deberían tener contenido.

• Vacíos de datos: Por ejemplo, una tabla fuente debe contener una fila de datos que incluya el total de unidades vendidas y dólares de ventas por cada mes en los últimos dos años. Para una gran cantidad de clientes, sin embargo, no existen filas durante al menos uno de esos meses.

• Datos incompletos: Si se supone que la información sobre cada producto que vende la empresa está disponible, por ejemplo, ¿están todos los productos incluidos en el extracto?

• Violaciones de las reglas comerciales: Si una regla comercial establece que solo un mayorista puede vender productos a cualquiera de los clientes de la compañía, debe verificar si los registros de clientes indican ventas realizadas a través de más de un mayorista, que podría indicar datos incorrectos en la fuente.

• Corrupción de datos desde el último extracto: Si la extracción ocurre mensualmente, por ejemplo, debe hacer un seguimiento de los valores de datos o sumas que deberían ser constantes, como VENTAS POR CLIENTE POR MES.Si, en un mes posterior, el valor de VENTAS POR CLIENTE POR MES cambia para un cliente determinado para un mes anterior, es posible que los datos subyacentes estén dañados.

• Incoherencias en la ortografía: El nombre de un cliente se escribe de diferentes maneras, por ejemplo.

¿Qué haces cuando encuentras problemas? Puede probar una de las siguientes técnicas:

• Aplicar una regla de corrección automática. Cuando encuentre una ortografía inconsistente, por ejemplo, haga una búsqueda en una tabla maestra de correcciones ortográficas previas y realice automáticamente el cambio en los datos.

• Deje de lado el registro para que un miembro del equipo lo analice y lo corrija más tarde. En este caso, puede hacer la parte humana del control de calidad junto con la corrección automática.

  Por ejemplo, se realizan correcciones automáticas, si es posible, y un informe sobre otros problemas se coloca en un archivo separado y se envía a la persona de control de calidad. Cuando la persona de control de calidad realiza todas las correcciones manuales, fusiona las correcciones en los datos que han pasado por el proceso de control de calidad automático.

• Refresca tus aviones. Si descubre suficientes problemas que son serios o que requieren una cantidad indeterminada de investigación, considere interrumpir todo el proceso hasta que encuentre y solucione el problema.

Puede hacer que el proceso de control de calidad sea mucho más eficiente y mucho menos problemático si realiza un análisis exhaustivo de los sistemas de origen. Si tiene una idea bastante buena acerca de los tipos de problemas de datos que puede encontrar en cada origen de datos, puede reprogramar su proceso de control de calidad para detectar y (con suerte) corregir esos problemas antes de continuar.

Históricamente, las organizaciones trataban el proceso de garantía de calidad del almacén de datos como un flujo unidireccional. Los problemas se corrigen antes de que los datos se trasladen más al flujo de los procesos de middleware, pero nunca se corrigen en las fuentes de datos. La mayoría de los nuevos almacenes de datos tienen un ciclo de retroalimentación integrado del proceso de QA que corrige los problemas de calidad de los datos en los datos de origen.

Aseguramiento de la calidad de los datos: parte II

Una vez completados los procesos de transformación, los datos deben someterse a control de calidad, de nuevo. Nunca se sabe qué tipo de errores o discrepancias podría haber introducido el proceso de transformación en los datos. Después de que hayan ocurrido los cambios, cualquier proceso de QA anterior ya no es válido.

Ejecute los datos transformados y consolidados a través del mismo tipo de pasos de control de calidad que se tratan aquí. Aunque probablemente no encuentre tantos errores rudimentarios (como errores de ortografía o valores que están fuera de rango) si realizó un trabajo completo en su control de calidad de primer nivel, aún desea asegurarse. Además, asegúrese de que el código o los scripts utilizados para la transformación de datos no causen accidentalmente nuevos errores.

El objetivo de este control de calidad de segundo nivel es asegurarse de que sus datos consolidados y transformados estén listos para cargarse en el servidor. almacén de datos: tan pronto como ocurra un paso más, si es necesario.