Continuando con las entregas sobre la ciencia de datos para la modelación estadística (Revisión de la estructura de los datos para el modelo estadístico), esta semana está relacionado con la forma correcta de revisar la calidad de los datos disponibles para el modelo estadístico.
Parte 4 de 5: Cuidar la calidad de los datos disponibles para el modelo estadístico
Los datos ordenados pueden contener problemas que afecten un modelo estadístico. La revisión de calidad busca determinar si los datos representan correctamente lo que deberían representar y si pueden utilizarse sin introducir errores evitables. Esta etapa exige observar cada variable, pero también analizar la coherencia entre variables relacionadas.
El primer control es el tipo de dato. Las cantidades deben almacenarse como números; las fechas, como fechas; y las categorías, como texto o códigos claramente definidos. Un código numérico no siempre es una cantidad. El código 00125, por ejemplo, identifica una unidad y sus ceros iniciales pueden ser importantes. Si se convierte en número, podría quedar como 125 y perder su forma original. Tampoco tendría sentido calcular su promedio. La decisión depende del significado de la variable, no de los caracteres o tipo de dato que contiene.
Luego se revisan los valores faltantes. Una celda vacía puede significar que no hubo respuesta, que la pregunta no aplicaba, que el dato no estaba disponible o que ocurrió un error de captura. Estas situaciones no deben tratarse automáticamente como cero, porque cero es un valor observado y puede tener una interpretación real. Conviene asignar y documentar códigos consistentes para cada situación antes de decidir cómo se manejarán en el análisis.
Los duplicados también requieren atención. Dos filas idénticas pueden indicar una copia accidental, pero dos registros con el mismo identificador podrían ser válidos si corresponden a fechas, establecimientos o transacciones diferentes. Por eso, eliminar duplicados sin estudiar la unidad de análisis puede provocar pérdida de información. La verificación debe utilizar una combinación de campos que identifique correctamente cada observación.
Otro control importante es la consistencia. Las categorías “San José”, “SAN JOSE” y “S. José” podrían referirse al mismo lugar, pero una herramienta puede interpretarlas como valores distintos. Las unidades también deben coincidir: colones y miles de colones, kilogramos y toneladas, porcentajes y proporciones no pueden mezclarse sin conversión. Además, deben revisarse rangos posibles y relaciones lógicas, como fechas de inicio anteriores a fechas de finalización, esto se puede ejecutar con el análisis exploratorio de datos (lo veremos luego).
Los valores extremos merecen análisis, no eliminación automática. Algunos revelan errores de digitación; otros describen casos reales y relevantes. Es recomendable compararlos con la fuente, revisar su contexto y registrar cualquier corrección. Toda transformación (recodificación, conversión de unidad, imputación o exclusión) debe quedar documentada.
La calidad de datos no consiste en hacer que la base “se vea limpia”, sino en preservar su significado, conocer sus límites y brindar los mejores datos posibles al modelo estadístico. Este cuidado fortalece la interpretación del modelo y permite explicar por qué los resultados merecen confianza. Para quien aprende ciencia de datos, esta etapa desarrolla una habilidad esencial: cuestionar la información antes de convertirla en una conclusión.
En la siguiente parte culminaremos con las entregas del mes sobre este tema.