Ahorre tiempo y reduzca los errores de datos con DataOps

El blog anterior, “DataOps: Optimizar la experiencia de datos” exploró el concepto de DataOps como catalizador para obtener resultados exitosos mientras emprendía iniciativas de transformación digital. Las funciones y capacidades de DataOps cambian radicalmente la forma en que se pueden administrar y analizar los datos al cambiar la creación de flujos de datos de una actividad de ingeniería a una actividad operativa. Con este cambio, los expertos en TI pueden enfocar sus esfuerzos en herramientas y automatización que permitan a los usuarios de datos funcionales volverse más autónomos y mejorar drásticamente la velocidad y el rendimiento general en la forma en que trabajan. 

Por ejemplo, veamos el trabajo necesario para instalar etiquetas RFID, que identifican y solucionan los problemas de las variaciones de presión en las tuberías que transportan gasolina desde las refinerías hasta las terminales de almacenamiento. Por lo general, se siguen los siguientes pasos: 

1. Los ingenieros de datos buscan comprender y definir el modelo de datos para respaldar este proceso. 
2. Los ingenieros de datos recopilan y mapean los datos, generalmente mediante la automatización. 
3. Los arquitectos de datos diseñan cómo los nuevos campos de datos se adaptan al modelo de datos empresariales canónicos y al modelo de datos maestros del cliente. 
4. Los administradores de datos identifican y definen los elementos de datos en el glosario empresarial. 
5. Las operaciones de datos producen catálogos con nueva información de metadatos. 
6. La gobernanza de datos identifica y aplica estándares a los nuevos datos y establece permisos y control de acceso. 
7. Las operaciones de seguridad de datos desbloquean los datos nuevos y los ponen a disposición, rastreables y seguros. 

En algunos casos, especialmente en grandes corporaciones, es posible que el científico de datos no obtenga acceso a los datos durante seis meses. Si los científicos de datos pudieran reducir ese tiempo realizando parte de la integración de datos ellos mismos y posiblemente eludiendo parte del proceso tradicional, se podría ahorrar tiempo, si eso estuviera dentro del apetito de riesgo de la organización.  

Pero, ¿qué sucedería si el equipo de DataOps pudiera atravesar todos los procesos (sin eludir la arquitectura, el diseño, la gobernanza o las funciones y capacidades de seguridad) y entregar los datos en unos pocos días? ¿O quizás podrían entregarlo el mismo día en que se implementa la RFID como datos de transmisión en tiempo real? ¿Eso crearía un cambio significativo? 

Por ejemplo, revisemos el tiempo típico necesario para integrar dos empresas. Algunas empresas adquirirán otras para penetrar en las adyacencias del mercado relacionadas, lo que implica administrar la integración entre los negocios principales. Lleva tiempo racionalizar e integrar los datos de la nueva empresa y compararlos con el modelo de datos anterior, y luego posicionar las nuevas capacidades y aplicaciones para respaldar el modelo combinado posterior a la adquisición.  

Si DataOps pudiera facilitar todo esto en una décima parte del tiempo, el ahorro de costos y la ventaja competitiva para fusiones como estas podrían valer millones de dólares.  

Otras experiencias de datos comunes se producen debido a errores de software o de datos. Estas ocurren regularmente; pueden aparecer variaciones de datos debido a cambios tecnológicos, cambios regulatorios, cambios en el sistema y errores humanos. Los resultados potenciales pueden variar ampliamente y tener un impacto comercial real. Echemos un vistazo a las empresas minoristas y consideremos ejemplos de errores de precios: 

• Un minorista multicanal de herramientas comerciales, accesorios y hardware por error cotiza un cortacésped por $309,90 en lugar de $3099,00, lo que resulta en incidentes de satisfacción del cliente. 
• Una cadena de supermercados ofrece un vale de $50 y olvida la declaración “solo por primera vez”; cientos de compradores lo usan repetidamente hasta que la empresa finaliza la promoción. 
• Un minorista mayorista recorta involuntariamente los precios de todo, desde bicicletas de montaña hasta televisores de alta definición, y responde rescindiendo cientos de precios de venta y ofreciendo a los compradores una tarjeta de regalo de $10. 

Con problemas de datos como estos, las empresas generalmente se recuperan rápidamente y logran contener sus costos, pero aún así incurren en una pérdida financiera neta y, potencialmente, en problemas de experiencia del cliente a largo plazo. Sin embargo, con DataOps implementado, junto con el monitoreo y las alertas correctos, los problemas pueden resolverse en minutos y sin ningún impacto en el cliente.  

En un entorno de operaciones de datos maduros, se activan verificaciones y alertas sistemáticas antes de que el flujo de trabajo entre en producción.   

En la realidad operativa actual, generalmente nos enfrentamos a tener que esperar meses para que TI diseñe, pruebe e implemente integraciones de nuevos sistemas o versiones de aplicaciones. Este es especialmente el caso si esas aplicaciones residen en diferentes entornos (en las instalaciones, en conjunto y en la nube pública) sin una plataforma de datos empresarial y un único sistema de administración de panel de vidrio implementado. Sin embargo, las prácticas de DataOps realmente pueden lograr avances al automatizar, verificar y controlar los procesos operativos diarios, y la infraestructura adecuada puede proporcionar una ventaja poderosa.