Continuando con las entregas sobre el paso a paso para proyectos de datos (Recibir y estudiar la solicitud del proyecto de datos), esta semana está relacionado con el análisis de los datos disponibles o la necesidad de crearlos.
Parte 3 de 5: Analizar la información disponible para el proyecto de datos
Como hemos visto la semana anterior la claridad de la solicitud es indispensable para el éxito del proyecto, se ocupa ahora revisar la información disponible, lo que determina su realidad.
Cuando no se ha trabajado con datos y se escucha hablar de ello, las personas ajenas a esta labor imaginan que hacer ciencia de datos consiste en recibir una base perfecta y empezar a obtener respuestas posiblemente automáticas. En la práctica, los datos pueden estar incompletos, duplicados, desordenados, distribuidos en varios archivos o registrados con criterios distintos. Por eso, antes de elaborar productos o conclusiones, es necesario conocer bien la materia prima disponible o la ausencia de ella para incorporar su creación al proyecto.
Analizar la información disponible significa identificar fuentes, variables, periodos, formatos y niveles de detalle reales y requeridos. Por ejemplo, si se estudian ventas, se debe saber si existen datos por factura, cliente, producto, fecha, canal, zona y vendedor. Si se analiza asistencia estudiantil, se debe revisar si hay registros por curso, fecha, persona, grupo, horarios y motivo de ausencia, lo que permite determinar si los datos responden a la pregunta planteada o si será necesario valorar crearlos, ajustar el alcance o elaborarlo por etapas.
Una tarea esencial es evaluar la calidad de los datos. La calidad no significa que todo sea perfecto, sino que se conozcan sus fortalezas y límites. Se revisan valores faltantes, errores de digitación, fechas imposibles, categorías mal escritas, registros duplicados, varias fuentes para el mismo dato y cambios de criterio (reclasificaciones) a lo largo del tiempo. También se debe observar si los datos pueden tener particularidades que a simple vista no se ven, como una encuesta para solo clientes muy satisfechos, no necesariamente con todos los clientes.
La revisión de datos disponibles requiere de un análisis exploratorio para resumir cantidades, calcular porcentajes, observar tendencias, comparar grupos y crear visualizaciones guías iniciales. El objetivo no es impresionar con gráficos, sino comprender qué cuentan generalmente los datos. A veces aparecen hallazgos tempranos: un producto concentra gran parte de las ventas, una zona presenta más reclamos, un proceso tarda más de lo esperado o una variable no se registra de forma confiable. Estos descubrimientos ayudan a orientar el resto del proyecto.
Cada vez que se trabaja en un proyecto es necesario documentar lo encontrado. Una buena documentación indica qué datos se recibieron, qué problemas se detectaron, qué transformaciones se realizaron y qué decisiones se tomaron. Esto da trazabilidad y permite que otras personas comprendan el proceso. Para los científicos de datos el mensaje debe ser claro: los resultados dependen de la calidad y pertinencia de la información. Antes de confiar en una conclusión, hay que conocer de dónde sale, analizar los datos disponibles no es una tarea secundaria; es la base que sostiene y orienta realizar un buen proyecto de datos.
La siguiente entrega seguiremos conversando al respecto.
