Gagnez du temps et réduisez les erreurs de données avec DataOps

Le blog précédent, « DataOps : Optimiser l’expérience des données » a exploré le concept de DataOps comme catalyseur de réussite tout en entreprenant des initiatives de transformation numérique. Les fonctions et capacités de DataOps transforment considérablement la façon dont les données peuvent être gérées et analysées en changeant la création de flux de données d’une activité d’ingénierie à une activité opérationnelle. Grâce à ce changement, les experts informatiques peuvent concentrer leurs efforts sur les outils et l’automatisation qui permettent aux utilisateurs de données fonctionnelles de devenir plus autonomes et d’améliorer considérablement la vitesse et les performances globales dans leur façon de travailler. 

Prenons l’exemple du travail nécessaire pour installer des étiquettes RFID, qui identifient et résolvent les variations de pression dans les pipelines qui transportent l’essence des raffineries aux terminaux de stockage. Les étapes suivantes sont généralement suivies : 

1. Les ingénieurs de données cherchent à comprendre et à définir le modèle de données pour soutenir ce processus. 
2. Les ingénieurs en données collectent et mappent les données, généralement à l’aide de l’automatisation. 
3. Les architectes de données conçoivent comment les nouveaux champs de données s’intègrent dans le modèle de données d’entreprise canonique et le modèle de données client principal. 
4. Les gestionnaires de données identifient et définissent les éléments de données dans le glossaire commercial. 
5. Les opérations de données produisent un catalogue contenant de nouvelles informations sur les métadonnées. 
6. La gouvernance des données identifie et applique des normes aux nouvelles données et établit des autorisations et un contrôle d’accès. 
7. Les opérations de sécurité des données libèrent les nouvelles données et les rendent disponibles, traçables et sécurisées. 

Dans certains cas, en particulier dans les grandes entreprises, le scientifique des données peut ne pas avoir accès aux données pendant six mois. Si les spécialistes des données étaient en mesure de réduire ce temps en effectuant une partie de l’intégration des données eux-mêmes et en contournant potentiellement une partie du processus traditionnel, le temps pourrait être gagné, si cela était dans l’appétence au risque de l’organisation.  

Mais que se passerait-il si l’équipe DataOps pouvait suivre tous les processus (sans contourner les fonctions et capacités d’architecture, de conception, de gouvernance ou de sécurité) et fournir les données en quelques jours ? Ou peut-être pourraient-ils la fournir le jour même où la technologie RFID est mise en œuvre en tant que données de streaming en temps réel ? Cela créerait-il un changement significatif ? 

Par exemple, passons en revue le temps nécessaire à l’intégration de deux entreprises. Certaines entreprises en acquièrent d’autres pour pénétrer les marchés adjacents associés, ce qui implique de gérer l’intégration entre les activités principales. Il faut du temps pour rationaliser et intégrer les données de la nouvelle entreprise et les comparer au modèle de données précédent, puis positionner les nouvelles capacités et applications pour prendre en charge le modèle post-acquisition combiné.  

Si les DataOps pouvaient faciliter tout cela en un dixième de temps, les économies et l’avantage concurrentiel des fusions comme celles-ci pourraient valoir des millions de dollars.  

D’autres expériences de données courantes sont dues à des bogues logiciels ou à des erreurs de données. Elles se produisent régulièrement ; des variations de données peuvent apparaître en raison de changements technologiques, de changements réglementaires, de changements de système et d’erreurs humaines. Les résultats potentiels peuvent varier considérablement et avoir un réel impact sur l’entreprise. Examinons les entreprises de grande distribution et examinons des exemples d’erreurs de tarification : 

• Un distributeur multicanal d’outils, d’accessoires et de matériel commerciaux tarife par erreur une tondeuse autoportée pour 309,90 $ au lieu de 3 099,00 $, entraînant des incidents de satisfaction client. 
• Une chaîne de supermarchés offre un bon d’achat de 50 $ et oublie la déclaration « première fois seulement » ; des centaines d’acheteurs l’utilisent à plusieurs reprises jusqu’à ce que l’entreprise mette fin à la promotion. 
• Un grossiste réduit involontairement ses prix, des VTT aux téléviseurs haute définition, et réagit en annulant des centaines de prix de vente et en offrant aux acheteurs une carte-cadeau de 10 $. 

Avec de tels problèmes de données, les entreprises récupèrent généralement rapidement et parviennent à maîtriser leurs coûts, mais subissent toujours une perte financière nette et des problèmes potentiels d’expérience client à long terme. Mais avec les DataOps en place, ainsi qu’une surveillance et des alertes appropriées, les problèmes peuvent être résolus en quelques minutes et sans impact sur le client.  

Dans un environnement d’opérations de données mature, des contrôles et des alertes systématiques sont déclenchés avant que le flux de travail n’entre en production.   

Dans la réalité opérationnelle actuelle, nous sommes généralement confrontés à des mois d’attente pour que le service informatique puisse concevoir, tester et mettre en œuvre des intégrations de nouveaux systèmes ou versions d’applications. C’est particulièrement le cas si ces applications résident dans différents environnements (sur site, en colo et dans le Public Cloud) sans qu’une plateforme de données d’entreprise et un système de gestion à un seul volet soient en place. Cependant, les pratiques de DataOps peuvent véritablement faire des progrès en automatisant, en vérifiant et en gouvernant les processus opérationnels quotidiens, et une infrastructure adaptée peut apporter un avantage considérable.