利用 DataOps 節省時間並減少資料錯誤

上一篇部落格 “DataOps：優化資料體驗”探索了 DataOps 的概念，作為成功成果的催化劑，同時進行數位轉型計劃。DataOps 的功能與能力大幅改變了管理與分析資料的方式，將工程活動的資料流量改為營運活動。隨著這項轉變，IT 專家可以專注於工具和自動化，使功能資料使用者變得更加自主，並大幅改善速度和整體效能。 

舉例來說，我們來看看安裝 RFID 標籤所需的工作，該標籤可辨識並排除管線中將汽油運輸至儲存終端的壓力變化。通常採取以下步驟： 

  1. 資料工程師希望了解並定義資料模型，以支援此流程。 
  2. 資料工程師通常會使用自動化技術來收集並對應資料。 
  3. 資料架構師設計新資料欄位如何融入典型的企業資料模型和主客戶資料模型。 
  4. 資料管理員在業務詞彙表中識別並定義資料元素。 
  5. 資料作業會產生包含新中繼資料資訊的目錄。 
  6. 資料治理可辨識新資料並應用標準，並建立權限和存取控制。 
  7. 資料安全作業可解鎖新資料，使其可用、可追蹤、安全。 

在某些情況下，尤其是大型企業，資料科學家可能無法存取資料六個月。如果資料科學家能夠自行進行部分資料整合，並可能繞過部分傳統流程來縮短時間，如果時間符合組織的風險偏好，就可以節省時間。  

但是，如果 DataOps 團隊可以在幾天內完成所有流程（不繞過架構、設計、治理或安全功能和能力），並交付資料呢？ 或者，也許他們可以在 RFID 作為即時串流資料實施的同一天交付資料？ 這會帶來有意義的改變嗎？ 

例如，我們來回顧一下整合兩家公司所需的典型時間。有些公司會收購其他人，以滲透相關市場鄰接關係，這需要管理核心業務之間的整合。將新公司的資料合理化與整合，並與前一個資料模型進行比較，然後定位任何新功能與應用程式，以支援合併的收購後模型。  

如果 DataOps 能在十分之一的時間裡達成上述目標，那麼這類合併的成本節約和競爭優勢可能價值數百萬美元。  

其他常見的資料體驗則因軟體錯誤或資料錯誤而發生。這些情況會定期發生；由於技術變更、法規變更、系統變更和人為錯誤，資料可能有所變動。潛在成果的範圍可能相當廣泛，並對業務產生真正的影響。我們來看看零售業務，並思考定價錯誤的例子： 

  • 一家交易工具、配件和硬體的多通路零售商，錯誤地以309.90美元的價格，而不是3，099.00美元的價格，導致客戶滿意事件。 
  • 超市連鎖店提供價值 50 美元的禮券，但忘了“第一次使用”的陳述；數百位購物者一再使用，直到公司結束促銷活動。 
  • 一家批發零售商無意間削減了山地自行車、高畫質電視等所有產品的價格，並取消了數百種售價，為消費者提供價值 10 美元的禮品卡。 

發生這類資料問題時，公司通常會迅速復原，並設法控制成本，但仍會產生財務淨損失，並可能遇到長期的客戶體驗問題。然而，隨著 DataOps 的到位，以及適當的監控與警示，問題可以在幾分鐘內解決，且不會對客戶造成任何影響。  

在成熟的資料作業環境中，系統性檢查和警示會在工作流程進入生產前觸發。   

在現今的營運現實中，我們通常必須等待數個月，IT 才能架構、設計、測試和實施新系統或應用程式版本的整合。如果這些應用程式位於不同環境（就地部署、共同運行和Public Cloud），而沒有企業資料平台和單一面板的玻璃管理系統，則更是如此。然而，DataOps 實務可透過自動化、驗證與管理日常營運流程，真正取得突破，而正確的基礎架構可提供強大優勢。