에버퓨어 데이터 스트림: AI에 바로 활용 가능한 데이터를 위한 더 빠른 길

제가 에버퓨어에 합류하기 전, 7년 넘게 고객들이 데이터에서 인사이트와 가치를 얻을 수 있도록 지원해 왔습니다. 2021년 생성형 AI(GenAI)가 등장했을 때만 해도, 이제 데이터에서 가치를 이끌어내는 일이 훨씬 쉬워질 것이라는 기대와 흥분이 컸습니다. 실제로 AI는 ‘결과’를 얻는 과정을 더욱 빠르고 쉽게 만들었습니다. 하지만 동시에 거의 모든 조직이 안고 있는 하나의 약점을 분명하게 드러냈습니다. 바로 데이터 준비도(data readiness), 보다 정확히 말하면 ‘AI 준비도(AI readiness)’입니다.

지난 10개월 동안 에버퓨어에서 고객들과 나눈 모든 대화는 AI 도입이 실험 단계를 넘어 실제 운영 환경으로 확대되면서 이러한 과제가 더욱 커지고 있음을 확인시켜 줬습니다. 이사회는 더 빠른 AI 성과를 요구하고 있으며, AI 프로젝트를 위한 예산도 대규모로 승인되고 있습니다. 그럼에도 많은 팀이 여전히 어려움을 겪고 있습니다. 컴퓨팅 역량이나 인프라가 부족해서가 아닙니다. 그 기반이 되는 데이터가 AI를 활용할 준비가 되어 있지 않기 때문입니다. 고객들은 AI 레디(AI-ready) 환경을 구현하기 위한 지원을 요구하고 있습니다.

여기에서 저는 에버퓨어가 상당한 강점을 가지고 있다는 사실을 깨달았습니다. 에버퓨어는 14,500개 이상의 고객으로부터 가장 민감하고 까다로운 데이터 워크로드의 관리를 신뢰받고 있습니다. 이를 기반으로 엔터프라이즈 규모에서 안전하고 거버넌스가 적용된 AI를 구현할 수 있는 독보적인 위치에 있습니다.

AI의 발목을 잡는 병목은 바로 데이터

올해 초 에버퓨어는 IDC에 의뢰해 미국, 영국, 독일, 프랑스, 일본, 호주, 뉴질랜드의 IT 리더 1,300명 이상을 대상으로 기업의 AI 구축 현황을 조사했습니다. 다음 조사 결과는 모든 CIO가 주목해야 할 내용입니다.

압도적인 수치인 86%가 현재 보유한 스토리지가 에이전틱 AI(agentic AI)를 지원하기에 적합하지 않다고 답했습니다.
60% 이상이 자사의 데이터 인프라를 개선하거나 교체해야 한다고 응답했습니다.
40%에 가까운 응답자가 보안 다음으로 데이터 준비 부족을 에이전틱 AI 도입의 가장 큰 걸림돌로 꼽았습니다.
3명 중 1명은 데이터 사이언티스트가 모델을 구축하는 대신 IT 지원을 기다리는 데 업무 시간의 절반 이상을 소비한다고 답했습니다.

이 결과들을 종합하면 결론은 명확합니다. 엔터프라이즈 AI의 제약 요인은 모델도, 툴도, 컴퓨팅도 아닙니다. 그 모든 것의 기반이 되는 데이터입니다.

‘AI에 바로 활용 가능한 데이터’란 무엇일까요?

데이터가 병목이라면 다음으로 물어야 할 질문은 분명합니다. 그렇다면 AI에 바로 활용 가능한 데이터는 실제로 어떤 모습이어야 할까요? 에버퓨어는 다음 네 가지 기준으로 AI에 바로 활용 가능한 데이터를 정의합니다.

신뢰할 수 있는 데이터(Trustworthy): 선별되고 정제된 데이터입니다. 중복 데이터, 불필요하게 반복되는 콘텐츠, 손상된 파일, 민감한 콘텐츠는 처리되기 전, 나아가 고객에게 전달되기 전에 걸러집니다. 안전성 레이블도 데이터 소스에서부터 적용됩니다.
거버넌스가 적용된 데이터(Governed): 데이터가 분류되고 액세스가 통제되어 사용자의 권한에 맞게 관리됩니다. 예를 들어 어떤 분석가가 특정 문서를 읽을 수 있다고 해서 AI 에이전트가 그 내용을 회사의 모든 사람에게 공개해도 된다는 의미는 아닙니다.
추적 가능한 데이터(Traceable): AI가 데이터를 검색하고 추론할 수 있도록 인덱싱하고 벡터화해 임베딩으로 변환합니다. 이 과정이 이뤄지지 않는다면 AI의 관점에서 해당 데이터는 사실상 존재하지 않는 것과 같습니다.
찾을 수 있는 데이터(Findable): API와 MCP 툴을 통해 AI 애플리케이션에서 접근할 수 있고, 검색 가능하며, 조직이 이미 사용하는 시스템과 통합된 데이터입니다.

에버퓨어는 데이터가 이 네 가지 기준을 모두 충족할 수 있도록 에버퓨어 데이터 스트림을 설계했습니다.

NVIDIA와 함께, 기업이 이미 보유한 데이터를 기반으로

에버퓨어 혼자만의 노력으로 여기까지 온 것은 아닙니다. 지난 1년 동안 에버퓨어와 NVIDIA는 이를 함께 개발해 왔습니다.

형태로 만드는 방법을 제시하는 레퍼런스 디자인인 AI Data Platform을 설계했습니다. 이를 데이터 정제를 위한 하나의 청사진이라고 생각할 수 있습니다. NVIDIA의 가속 컴퓨팅 및 AI 소프트웨어 스택을 데이터가 이미 존재하는 곳에 적용함으로써, 기존 인프라를 교체하지 않고도 에이전트가 실제 엔터프라이즈 지식을 실시간으로 조회할 수 있도록 합니다. 이 과정에서 데이터에 대한 거버넌스와 신뢰도 유지됩니다.

에버퓨어 데이터 스트림은 NVIDIA AI Date Flatform 레퍼런스 디자인을 확장합니다.NVIDIA Blackwell GPUs, NVIDIA Spectrum-X networking, NVIDIA NIM microservices, 그리고 고성능 스토리지의 기반이 되는 플래시블레이드(FlashBlade®)가 결합되어 있습니다. 인증된 풀스택 솔루션으로, 완전히 통합된 솔루션 형태로 구축하거나 기존 인프라에 소프트웨어 형태로 적용할 수 있습니다.

에버퓨어 데이터 스트림을 소개합니다

무엇인가요?

에버퓨어 데이터 스트림은 PDF, DOCX, 이미지 등의 원시 비정형 데이터를 기존 방식보다 훨씬 짧은 시간 안에 AI가 활용할 수 있는 거버넌스 기반의 인텔리전스로 전환해 모든 애플리케이션에서 활용할 수 있도록 하는 AI 중심 애플리케이션입니다. 기업이 소유한 인프라에서 실행되기 때문에 콘텐츠가 기업 환경 외부로 이동하지 않습니다. 또한 수개월이 소요되던 데이터 파이프라인 구축 작업을 패키지형 서비스로 제공해 MLOps 팀이 직접 구축하거나 유지관리할 필요가 없습니다. 이를 통해 데이터 리더는 AI를 위한 신뢰할 수 있고 거버넌스가 적용된 데이터를 일관된 방식으로 제공할 수 있습니다.

어떻게 작동하나요?

현재 기업들은 일반적으로 수집(ingest), 선별(curate), 변환(transform), 벡터화(vectorize), 인덱싱(index), 검색(retrieve), 생성(generate)의 7단계 AI 데이터 파이프라인을 구성하며, 각 단계마다 서로 다른 벤더의 제품이나 오픈소스 프로젝트를 조합합니다. 고객들로부터 실제로 듣는 수치는 놀랍습니다. AI가 단 하나의 문서를 읽을 수 있게 되기까지 데이터 파이프라인 구축에 2~4개월이 걸립니다. 새로운 활용 사례가 추가되고, 모델이 업그레이드되고, 새로운 데이터 소스가 생길 때마다 이 작업이 반복됩니다. 답을 얻기 위해 수개월을 기다려야 한다면 빠르게 변화하는 시장의 요구에 대응하기 어렵습니다.

에버퓨어 데이터 스트림은 이 전체 파이프라인을 하나의 자동화되고 지속적이며 거버넌스가 적용된 제품으로 통합합니다.

수집(Ingest): 기존 NFS 및 S3 스토어에서 콘텐츠를 수집합니다.
선별(Curate): 중복 콘텐츠, 불필요하게 반복되는 콘텐츠 및 손상된 파일을 제거합니다.
분류(Classify): 민감도에 따라 데이터를 분류하고 소스에서부터 액세스 제어를 적용합니다.
임베딩(Embed): AI가 추론할 수 있도록 콘텐츠를 벡터로 변환합니다.
인덱싱(Index): 빠른 검색을 위해 데이터를 인덱싱합니다.
검색(Retrieve): 시맨틱 검색과 하이브리드 검색을 통해 필요한 데이터를 검색합니다.
생성(Generate): AI 애플리케이션이 활용할 수 있는 답변을 생성하며, 이 모든 기능은 업계 표준 API를 통해 제공됩니다.

이 모든 과정은 기업이 소유한 인프라에서 데이터를 이동시키지 않은 채 지속적으로 실행됩니다. 별도의 데이터 복사본도, 새로운 사일로도 필요하지 않으며, 콘텐츠가 기업 환경 외부로 이동하지도 않습니다.

무엇이 다른가요?

에버퓨어 데이터 스트림은 현재 시장의 여러 기술을 조합해 직접 구축하는 파이프라인이나 추가형 포인트 솔루션과 세 가지 측면에서 차별화됩니다.

비용, 제어 및 보안: 에버퓨어 데이터 스트림은 다른 AI 데이터 플랫폼 솔루션 대비 훨씬 적은 GPU 자원으로 실행되며, 기업이 소유한 인프라를 기반으로 합니다. 콘텐츠는 기업 환경 내부에 그대로 유지되며, 기존에 신뢰하고 사용해 온 보안 모델에 따라 관리됩니다.
가치 실현 시간(Time to Value): 전문 내부 팀이 여러 기술을 연결하며 수개월 동안 구축해야 했던 환경을 이제 패키지형 서비스로 이용할 수 있습니다. ML 플랫폼 팀은 그만큼의 시간을 더 높은 가치를 창출하는 업무에 투입할 수 있습니다.
속도와 확장성: AI가 요구하는 처리량과 동시성을 제공할 수 있도록 플래시블레이드(FlashBlade)를 기반으로 설계됐으며, 기가바이트에서 엑사바이트까지 확장할 수 있는 여유 역량을 제공합니다.

이것이 중요한 이유는 무엇일까요? 기업이 실제 운영 환경에 구축하려는 모든 에이전틱 애플리케이션에는 데이터에 대한 빠르고 신뢰할 수 있는 접근이 필요하기 때문입니다. 각 애플리케이션은 데이터를 안전하고 정확하게 검색하고 접근할 수 있어야 합니다. 데이터 스트림은 복잡한 RAG 파이프라인을 자동화하고, 이 기능을 시맨틱 검색과 함께 API로 제공합니다. 이를 통해 에이전틱 애플리케이션을 더욱 정확하고 신뢰할 수 있으며 빠르게 구축할 수 있습니다. 새로운 사기 탐지 애플리케이션의 정확도를 높일 수 있고, 공급망 및 물류를 위한 새로운 실시간 코파일럿은 더욱 완전한 정보를 바탕으로 작동할 수 있습니다. 즉, 프로덕션 레디 AI 성과를 훨씬 쉽고 빠르게 구현할 수 있게 됩니다. 초기 피드백을 통해 이미 이러한 가능성을 확인하고 있습니다. 베타 고객들은 에버퓨어 데이터 스트림을 활용해 수십 년간 축적된 파일을 대상으로 자연어 질문을 하고, 필요한 문서를 단 몇 초 만에 검색할 예정입니다. 자체 RAG 파이프라인을 이미 구축한 고객들조차 AI를 위한 자동화된 데이터 파이프라인의 지원과 향후 개발을 데이터 스트림에 맡길 수 있기를 기대한다고 밝혔습니다.

pure.ai에서 시작하세요

에버퓨어가 그동안 준비해 온 모든 것이 바로 이 순간을 향하고 있습니다. AI는 데이터 위에서 실행됩니다. 데이터는 에버퓨어 위에서 실행됩니다.

이미 보유하고 있는 데이터로 에버퓨어 데이터 스트림이 무엇을 할 수 있는지 확인할 준비가 되었다면, 체험을 신청해 보세요. 에버퓨어는 현재 인프라 환경을 평가하고, 비즈니스에 가장 큰 가치를 제공할 활용 사례를 파악하며, 파일럿에서 실제 운영 환경으로 전환하기 위한 현실적인 경로를 함께 설계합니다.

에버퓨어는 15년 이상 14,500개 이상의 고객에게 업계 최고 수준의 데이터 인프라를 제공해 왔습니다. 이제 에버퓨어 데이터 스트림을 통해 기존 인프라를 AI에 바로 활용할 수 있는 데이터 환경으로 전환하는 가장 빠른 길을 제시합니다.