Continuando con las entregas sobre la ciencia de datos para la modelación estadística (Obtener lo datos adecuados para el modelo estadístico a desarrollar), esta semana está relacionado con la forma correcta de revisar la calidad de los datos disponibles para el modelo estadístico.
Parte 3 de 5: Revisión de la estructura de los datos para el modelo estadístico
Luego de obtener y documentar los datos disponibles para la modelación estadística, el siguiente paso es entender su estructura y se debe poder explicar con claridad qué representa cada fila, qué describe cada columna y cómo se relacionan los distintos archivos utilizados para crear nuestros datos de referencia. Esta revisión inicial evita errores frecuentes, como mezclar unidades de análisis o utilizar observaciones que no corresponden al mismo periodo.
El primer ejercicio consiste en observar la base sin alterarla. Conviene revisar los nombres de las columnas, una muestra de las filas, la cantidad de registros, los encabezados, las hojas disponibles y la presencia de notas dentro de la tabla. Títulos decorativos, subtotales, filas vacías o celdas combinadas (en archivos de Excel) pueden facilitar una presentación visual, pero dificultan el análisis. La base de trabajo debería conservar una sola fila de encabezados y una estructura rectangular: cada fila representa una observación y cada columna, una variable.
Después se confirma la unidad de análisis. Si el estudio analiza empresas por año, una fila debería representar una empresa en un año específico. Si varias filas corresponden a la misma empresa y al mismo año, habrá que determinar si son duplicados o registros legítimos de otra unidad, como sucursales o productos. Esta decisión debe basarse en la documentación y en la pregunta de investigación, no únicamente en la apariencia de los datos, con ello se podrán tomar decisiones para acomodar adecuadamente los datos para el modelo.
Con todos los datos disponibles se identifican las variables requeridas para el modelo. Es útil agruparlas en cuatro bloques: identificadores, variable dependiente, variables explicativas y variables de control. Los identificadores (como código de empresa, región o periodo) permiten reconocer y vincular observaciones, la variable dependiente representa el resultado que se desea explicar, las variables explicativas reflejan los factores centrales del análisis, mientras que los controles ayudan a considerar otras diferencias relevantes según el análisis a realizar.
El orden de las columnas no cambia el cálculo matemático, pero sí mejora la lectura y reduce equivocaciones, también conviene usar nombres breves y consistentes, acompañados por un diccionario que conserve la descripción completa que soportará el modelo estadístico.
En esta fase se revisa además si la base tiene formato transversal, temporal o de panel. Los datos transversales comparan unidades en un momento; las series de tiempo siguen una variable a través de periodos; y los paneles observan varias unidades durante varios periodos. Reconocer esta estructura orientará las decisiones posteriores para mejores resultados del modelo.
La revisión de la estructura de los datos no es una tarea meramente estética. Es construir un mapa del análisis y cuando es clara, resulta más fácil detectar ausencias, justificar selecciones y comunicar el proceso. Así, la ciencia de datos deja de parecer una caja negra y se convierte en un recorrido que otras personas pueden comprender y reproducir posteriormente.
En la siguiente parte continuaremos con más de este tema.