El tema de hoy tiene un nombre vendedor y un pasado oscuro. Su futuro depende de nosotros. Todos los que quieran saber más del tema, lo estaremos explorando este jueves en el Big Data & Analytics Summit.
El concepto Dark Data lo etiquetó Gartner para referirse a toda esa información que no estamos utilizando para nada en nuestras compañías. Toda esa información que está ahí y almacenamos por fines como cumplir con alguna regulación, tener algo de soporte para alguna auditoria o simplemente sabemos donde está almacenada y nos parece bien que se quede ahí. Es decir, no se refiere a información malvada, sino a información opaca u oculta.
Esta información es mucha, algunas organizaciones se han aventurado a estimar que el 52% de la información de las empresas cae en la categoría Dark. En contraste con el 15% que resulta útil y es aprovechada.
¿Qué harías con 3 veces más información? Probablemente, enloquecer. Quizá, triplicar tu inversión en hardware y software para la explotación de datos (y ponerle aguacate y limón). Contratar tres veces más científicos y mineros de datos (bajo el supuesto de que existen). O simplemente recordar que ya estaba aquí antes, pensar qué pasó la primera vez que estuviste frente a una base de datos con una herramienta para navegarla inteligentemente y repetir aquello que ha funcionado al día de hoy.
Por supuesto, la última opción es más prudente. ¿Qué pasó la primera vez que estuviste frente a una base de datos grandota? Normalmente, te preguntaste qué quieres saber y luego martillaste la información hasta que te contesto tus preguntas. Con este tipo de información no tiene por qué ser diferente. Solo hay que considerar algunos bemoles.
Primero, la gran mayoría es no estructurada. Bitácoras transaccionales, registros de comunicación, información generada por transacción servidor a servidor. No va a tener una forma estándar ni un nivel de calidad de datos que quisieras y quizá tampoco encuentres muchas fuentes para contrastarla. De modo que es probable que tu herramienta y metodología usual (a menos que normalmente trabajes con este tipo de información) no funcione.
Segundo, que esté ahí no significa que tengas que usarla. Usar por usar no es recomendable nunca, el tema va al revés. Tienes una necesidad, la estás resolviendo. ¿La data que está perdida en un rincón oscuro te podría ayudar a hacerlo menor? Si sí, ve por ella; si no, concéntrate en la necesidad, no en los datos,
Tercero, es mucha y se mueve muy rápido. ¿Pues qué no es eso de lo que se trata el Big Data? Sí, claro, ¿ya lo tienes dominado? ¿Escalabilidad, velocidad, automatización? ¿Independiente de la fuente y la estructura? Si sí, estás un paso más cerca de poderla aprovechar.
Cuarto, ¿dónde está? ¿Exactamente de dónde la saco? ¿Está en un bonito repositorio al que mi ETL se puede conectar y extraer así nada más? ¿O voy a necesitar un crawler de Deep Web y entonces rogar que cada vez la encuentre?
Entre algunas otras cosas, la clave es la misma que cuando hemos empezado con cualquier otro tipo de dato: ¿para qué lo quiero? Normalmente con un buen objetivo y caso de negocio, las barreras se hacen más pequeñas.
¿Tú has tratado de utilizar información como está? ¿Te funcionó como esperabas? ¿Qué obstáculos tuviste que superar?
