DataOps로 시간을 절약하고 데이터 오류를 줄이세요

이전 블로그인 데이터옵스: 데이터 경험 최적화는 디지털 트랜스포메이션 이니셔티브를 추진하면서 성공적인 성과를 위한 촉매제로서의 데이터옵스의 개념을 탐구했습니다. 데이터옵스의 기능과 기능은 엔지니어링 활동에서 운영 활동으로 데이터 흐름 생성을 변경하여 데이터를 관리하고 분석할 수 있는 방식을 극적으로 변화시킵니다. 이러한 변화를 통해 IT 전문가들은 기능 데이터 사용자가 보다 자율적으로 작업하고 작업 방식의 속도와 전반적인 성능을 대폭 개선할 수 있도록 지원하는 도구와 자동화에 집중할 수 있습니다. 

예를 들어, 정유소에서 스토리지 터미널로 가솔린을 운반하는 파이프라인의 압력 변화를 식별하고 해결하는 RFID 태그를 설치하는 데 필요한 작업을 살펴보겠습니다. 일반적으로 다음 단계를 수행합니다. 

1. 데이터 엔지니어들은 이러한 프로세스를 지원하기 위해 데이터 모델을 이해하고 정의하려고 합니다. 
2. 데이터 엔지니어는 일반적으로 자동화를 통해 데이터를 수집하고 매핑합니다. 
3. 데이터 아키텍트는 새로운 데이터 필드가 정식 엔터프라이즈 데이터 모델과 마스터 고객 데이터 모델에 어떻게 부합하는지 설계합니다. 
4. 데이터 관리자는 비즈니스 용어집의 데이터 요소를 식별하고 정의합니다. 
5. 데이터 작업은 새로운 메타데이터 정보가 포함된 카탈로그를 생성합니다. 
6. 데이터 거버넌스는 표준을 식별하여 새로운 데이터에 적용하고 권한 및 액세스 제어를 설정합니다. 
7. 데이터 보안 운영은 새로운 데이터를 활용하고, 추적 가능하며, 안전하게 만듭니다. 

경우에 따라, 특히 대기업의 경우, 데이터 과학자가 6개월 동안 데이터에 액세스하지 못할 수도 있습니다. 데이터 사이언티스트가 자체적으로 일부 데이터 통합을 수행하고 일부 기존 프로세스를 우회하여 시간을 단축할 수 있다면, 조직의 위험 감수 범위 내에 있다면 시간을 절약할 수 있습니다.  

그러나 데이터옵스 팀이 모든 프로세스를 진행하고(아키텍처, 설계, 거버넌스 또는 보안 기능 및 기능을 우회하지 않고) 며칠 내에 데이터를 제공할 수 있다면 어떨까요? 아니면 RFID가 실시간 스트리밍 데이터로 구현되는 당일에 제공할 수도 있을까요? 이것이 의미 있는 변화를 가져올까요? 

예를 들어, 두 회사를 통합하는 데 필요한 일반적인 시간을 살펴보겠습니다. 일부 기업은 관련 시장 인접성을 침투하기 위해 다른 기업을 인수할 것이며, 이는 핵심 비즈니스 간의 통합 관리를 수반합니다. 새로운 기업의 데이터를 합리화 및 통합하고, 이를 이전 데이터 모델과 비교한 다음, 새로운 기능과 애플리케이션을 포지셔닝하여 통합 인수 후 모델을 지원하는 데는 시간이 걸립니다.  

데이터옵스가 1/10의 시간 내에 이 모든 것을 촉진할 수 있다면, 이와 같은 합병으로 인한 비용 절감 및 경쟁 우위는 수백만 달러에 달할 수 있습니다.  

소프트웨어 버그 또는 데이터 오류로 인해 다른 일반적인 데이터 경험이 발생합니다. 이러한 현상은 정기적으로 발생하며, 기술 변경, 규제 변경, 시스템 변경 및 인적 오류로 인해 데이터 변동이 발생할 수 있습니다. 잠재적인 결과는 매우 다양하며 실제 비즈니스에 영향을 미칠 수 있습니다. 리테일 비즈니스를 살펴보고 가격 오류의 예를 살펴보겠습니다. 

• 트레이드 툴, 액세서리 및 하드웨어의 멀티채널 소매업체는 3,099달러가 아닌 309.90달러의 가격으로 승마용 저수지 가격을 책정하여 고객 만족도를 높였습니다. 
• 슈퍼마켓 체인은 $50 상당의 바우처를 제공하며, “처음만”이라는 표현을 잊어버립니다. 수백 명의 쇼핑객이 프로모션이 끝날 때까지 반복적으로 사용합니다. 
• 한 도매 소매업체는 산악자전거부터 HD TV에 이르기까지 모든 것에 대한 가격을 무심코 인하하고, 수백 건의 판매 가격을 낮추고, 대신 10달러의 기프트 카드를 구매자에게 제공함으로써 이에 대응합니다. 

이와 같은 데이터 문제로 인해 기업은 일반적으로 빠르게 복구하고 비용을 억제할 수 있지만, 여전히 순재무손실과 잠재적으로 장기적인 고객 경험 문제가 발생할 수 있습니다. 그러나 데이터옵스를 도입하고 올바른 모니터링 및 경보를 통해 몇 분 안에 고객의 영향 없이 문제를 해결할 수 있습니다.  

성숙한 데이터 운영 환경에서는 워크플로우가 프로덕션에 들어가기 전에 체계적인 점검 및 경보가 트리거됩니다.   

오늘날의 운영 현실에서는 IT 부서가 새로운 시스템 또는 애플리케이션 버전의 통합을 설계, 설계, 테스트 및 구현할 때까지 수개월을 기다려야 합니다. 이러한 애플리케이션이 엔터프라이즈 데이터 플랫폼과 단일 대시보드 관리 시스템이 없는 다양한 환경(온-프레미스, 코-로 및 Public Cloud)에 상주하는 경우 특히 그렇습니다. 그러나, 데이터옵스 관행은 일상적인 운영 프로세스를 자동화, 검증 및 관리함으로써 진정으로 혁신을 이룰 수 있으며, 올바른 인프라는 강력한 이점을 제공할 수 있습니다.