에이전틱 AI 시대, 엔터프라이즈 AI에 신뢰를 구축하는 방법

에이전틱 AI는 엔터프라이즈급 성능을 갖춰야 하며, 기업은 신뢰를 요구합니다.

시장 전반에서 기업들은 이제 AI가 중요한지 여부를 묻는 단계를 지났습니다. 더 어려운 질문은 에이전틱 AI를 프로덕션 환경에서 신뢰할 수 있는지 여부입니다. 즉, 올바른 데이터에 접근하고, 적절한 통제를 적용하며, 비즈니스를 운영하는 워크플로우 내에서 안전하게 작동한다고 신뢰할 수 있는지가 관건입니다.

GTC에서 에버퓨어 데이터 스트림(Everpure Data Stream) 베타를 출시한 이후, 이러한 사실은 더욱 분명해졌습니다.

시장이 코파일럿에서 자율형 에이전트로 전환하면서 이러한 차이는 더욱 중요해지고 있습니다. 환각을 일으키는 챗봇은 다소 난처한 상황을 발생하는 정도에 그칠 수 있습니다. 하지만 민감한 데이터를 기반으로 추론하고, 도구를 호출하고, 그 호출들을 연결해 행동을 취하는 AI 에이전트는 완전히 다른 차원의 위험을 초래합니다. 단 하나의 손상된 에이전트는 더 이상 하나의 잘못된 답변에 그치지 않고, 피해 범위가 광범위하게 확산될 수 있기 때문입니다. 이제 논의의 중심은 프롬프트나 벤치마크, 모델 크기가 아닙니다. 핵심은 통제입니다.

베타를 통해 얻은 교훈

데이터 스트림(Data Stream) 베타 버전을 출시했을 때, 우리의 목표는 기업이 엔터프라이즈 데이터의 이동, 준비, 거버넌스를 자동화하도록 지원함으로써 AI가 단절된 데이터 조각이 아니라 신뢰할 수 있는 정보를 기반으로 작동할 수 있게 하는 것이었습니다.

우리가 빠르게 확인한 사실은, AI에 대한 고객의 기대가 매우 높은 만큼, 이를 실제 운영에 적용하는 과정 역시 복잡하다는 점이었습니다.

베타 참가자들이 가장 주목한 부분은 AI 자체가 지닌 가능성이 아니라, 데이터 스트림(Data Stream)이 해결하는 운영상의 과제였습니다. 엔터프라이즈 데이터는 파일 리포지토리, 운영 시스템, 아카이브, 그리고 수십 년간의 조직의 지식이 담긴 비정형 콘텐츠 저장소 등 어디에나 존재합니다. 하지만 이러한 데이터의 상당 부분은 여전히 AI가 활용할 수 없는 상태입니다. 이는 데이터의 가치가 부족해서가 아니라, 그것을 연결하는 작업이 지나치게 수작업에 의존하고, 취약하며, 엔터프라이즈 규모에서 거버넌스를 적용하기 어렵기 때문입니다.

바로 이것이 자동화된 데이터 파이프라인이 중요한 이유입니다.

이번 베타에서 가장 명확하게 나타난 패턴 중 하나는, 논의의 초점이 모델 실험에서 데이터 준비도로 빠르게 이동했다는 점입니다. 참가자들은 일관되게 동일한 가치에 주목했습니다. 수작업으로 구축한 통합, 취약한 스크립트, 파편화된 워크플로우를 더 자동화되고, 거버넌스가 적용되며, 반복 가능한 방식으로 대체해 엔터프라이즈 데이터를 AI에 바로 활용할 수 있도록 만드는 것입니다. 신뢰할 수 있는 컨텍스트에 더 빠르게 접근할 수 있다면 실험과 반복 작업의 속도를 높이고, 궁극적으로 더 빠르게 비즈니스 성과를 창출 할 수 있습니다.

하지만 더 깊은 교훈은 에이전틱 AI가 요구되는 기준을 끌어올린다는 점입니다.

수동적인 AI 애플리케이션과 달리, 에이전트는 정보를 검색하고, 컨텍스트 전반에 걸쳐 추론하며, 도구와 상호작용하고, 점점 더 많은 행동을 직접 수행합니다. 이러한 방식이 제대로 작동하려면 기반이 되는 데이터 환경을 신뢰할 수 있어야 합니다. 결국 AI의 신뢰성은 이를 뒷받침하는 데이터, 거버넌스, 보안 아키텍처의 신뢰성만큼만 신뢰할 수 있습니다.

보안은 더 이상 선택 사항이 아닙니다

베타 참여 과정에서 또 하나 분명해진 점은 보안팀의 역할이 달라졌다는 것입니다. 보안팀은 더 이상 배포 결정을 사후에 검증하기 위해 마지막 단계에서 참여하는 후속 이해관계자가 아닙니다. 이제 그들은 처음부터 논의에 참여하고 있습니다.

그 이유를 정확히 짚어보면, 에이전틱 AI는 단순히 방어해야 할 새로운 애플리케이션을 하나 추가하는 것이 아니라 위협 모델 자체를 바꿔놓는다는 점을 알 수 있습니다. 그중에서도 다음 세 가지 변화가 특히 두드러집니다.

• AI 에이전트는 단순히 답변하는 것이 아니라 행동합니다. 수동적인 모델은 텍스트를 반환할 뿐이지만, 에이전트는 데이터를 읽고, 도구를 호출하고, 후속 시스템을 작동시킵니다. 실수나 침해의 결과는 ‘잘못된 출력’에서 ‘잘못된 행동’으로 확대됩니다.
• AI 에이전트의 접근 범위는 계속 확장합니다. 유용하게 작동하려면 에이전트는 여러 시스템과 영역에 걸친 광범위한 컨텍스트를 필요로 합니다. 그러나 이 같은 광범위한 접근성은 하나의 에이전트 자체를 매력적인 공격 대상으로 만듭니다. 악성 프롬프트, 탈옥(jailbreak), 또는 잘못 구성된 도구 하나로 인해 에이전트의 광범위한 접근 권한이 오히려 기업에 위협으로 작용할 수 있습니다.
• AI 에이전트는 사람이 따라잡을 수 없을 만큼 빠른 속도로 작동합니다. 시스템이 밀리초 단위로 추론하고 행동할 때, 사후 검토만으로 대응할 수 없습니다. 통제는 에이전트가 작동하는 속도에 맞춰 인라인 방식으로, 그리고 지속적으로 이루어져야 합니다.

이는 신뢰가 운영과 분리될 수 없는 산업에서 특히 그렇습니다. 금융 서비스 기업들은 자율형 AI가 민감한 고객 데이터 및 거래 데이터와 어떻게 안전하게 상호작용할 수 있을지 고민하고 있습니다. 제조업체들은 지적재산과 운영 시스템을 보호할 방법을 검토하고 있습니다. 정부기관들은 데이터 주권, 통제, 정책 집행에 초점을 맞추고 있습니다. 법률기관들은 기밀 정보가 AI 워크플로우에 어떻게 안전하게 활용될 수 있는지를 고민하고 있습니다.

결론은 놀라울 만큼 한결같습니다.

보안은 배포 후에 별도로 추가하는 요소가 아닙니다. 에이전트가 자율적으로 빠르게 행동하는 환경에서는 데이터 경로 외부에서 사후에 검토되거나 별도로 적용되는 통제 방식은 항상 한 발 늦습니다. 보안은 아키텍처 자체에 설계되어 모든 작업에 실시간으로 적용되어야 합니다.

NVIDIA와의 협력이 신뢰할 수 있는 엔터프라이즈 AI를 지원하는 방법

바로 이것이 NVIDIA와의 협력이 중요한 이유이며, 왜 그 협력이 데이터 경로에서부터 시작되는지에 대한 이유입니다.

그 밑바탕에는 다음과 같은 아키텍처적 통찰이 있습니다. 탈옥(jailbreak), 프롬프트 인젝션, 지나치게 광범위한 자격 증명, 잘못 구성된 도구 등 에이전트에서 발생할 수 있는 거의 모든 오류나 침해는 결국 동일한 형태로 나타납니다. 바로 데이터를 읽거나 쓰기 위한 요청입니다. 데이터 경로는 모든 에이전트 상호작용이 반드시 거쳐야 하는 단 하나의 지점입니다. 이 지점에서 모든 작업에 대해 정책을 적용하면, 더 이상 에이전트나 애플리케이션이 올바르게 작동할 것이라고 신뢰하는 데 의존할 필요가 없어집니다. 이를 통해 스토리지는 수동적인 인프라에서 인텔리전스, 신뢰, 정책 집행을 위한 실시간 통제 지점으로 변화합니다.

NVIDIA Vera BlueField-4 STX는 바로 이러한 요구에 부합하는 아키텍처 변화를 제공합니다. NVIDIA DOCA를 기반으로 하고 BlueField-4 실리콘에서 구현되는 STX 기반 솔루션은 AI 에이전트의 속도로 에이전트, 데이터, 컨텍스트 메모리 간의 상호작용을 점검하고, 거버넌스를 적용하며, 통제하도록 설계되었습니다. NVIDIA에 따르면 Vera BlueField-4 STX는 기존의 에이전트리스(agentless) 런타임 솔루션보다 최대 1,000배 빠른 런타임 위협 탐지 속도를 제공하며, 최대 800Gb/s 속도로 네트워크 및 파일 접근 집행을 지원할 수 있습니다.

여기서 핵심은 바로 속도입니다. 실리콘에서 라인 레이트(line rate)로 통제를 적용하기 때문에 보안이 병목이 되지 않으면서 ‘인라인 및 지속적인’ 보안을 구현할 수 있습니다. DOCA 기능은 에이전트 위협 모델과 직접 연결되며, 보안팀이 제기하는 구체적인 질문에 답을 제공합니다.

• NVIDIA DOCA Argus는 AI 워크로드와 에이전트 동작에 대한 런타임 가시성을 제공합니다. 이는 배포 시점에 허용된 작업이 무엇인지가 아니라, 에이전트가 지금 실제로 무엇을 하고 있는지에 대한 답을 제시합니다.
• NVIDIA DOCA Vault는 AI 네이티브 스토리지를 위한 제로 트러스트 파일 접근을 구현합니다. 이는 누가, 무엇이 어떤 데이터에 접근할 수 있는지를 통제함으로써, 에이전트가 승인된 범위를 넘어 접근하지 못하도록 합니다.
• NVIDIA DOCA Flow는 에이전트, 테넌트, 추론 파이프라인 전반에서 고속 네트워크 정책 적용, 검사, 세분화, 격리를 지원합니다. 이를 통해 침해된 에이전트로 인한 피해가 확산되기 전에 그 범위를 제한 할 수 있습니다.

에버퓨어에게 이것은 단순히 인접 기술들을 서로 연결하는 문제가 아닙니다.

차세대 데이터 스트림(Data Stream)은 NVIDIA Vera BlueField-4 STX를 기반으로 구축되고 있으며, 새롭게 발표된 DOCA 보안 기능들은 이 아키텍처가 시간이 지나면서 어떻게 발전해 나갈 수 있는지를 보여줍니다. NVIDIA와의 협업을 계속해 나가면서, STX, BlueField-4, DOCA가 제공하는 인프라 및 보안 기능은 통합된 데이터 스트림 아키텍처 자체의 일부가 됩니다. 데이터 스트림이 AI를 위한 데이터 파이프라인을 자동화하면서, 보안을 지속적으로 적용하고 인프라 수준에서 통제하며 에이전트가 의존하는 데이터 경로와 분리할 수 없는 구조로 구현할 수 있는 기반이 마련됩니다.

이와 함께 보다 광범위한 엔터프라이즈 보안 생태계의 역할도 강화됩니다. NVIDIA Vera BlueField-4 STX와 NVIDIA DOCA는 기반 인프라 기능을 제공합니다. 시간이 지나면서 데이터 스트림은 API, 텔레메트리, 통합 지점을 통해 이러한 기능을 제공할 예정입니다. 이를 통해 보안, 사이버 복원력, 가시성, 데이터 보호 분야의 ISV들은 고객이 이미 신뢰하고 있는 통제 기능을 AI 팩토리 내부로 더욱 확장해 프로덕션 AI를 구성하는 에이전트, 데이터 파이프라인 및 워크로드에 한층 더 가깝게 적용할 수 있습니다.

이것이 바로 신뢰할 수 있는 엔터프라이즈 보안 통제를 실제 AI 운영의 일부로 구현하는 방식입니다. 시스템 외부를 감싸는 별도의 계층이 아니라, 시스템이 작동하는 경로 자체에 통제를 내장하는 것입니다.

승자는 기업이 신뢰하는 기업이 될 것입니다

성능은 여전히 중요합니다. AI 파이프라인은 데이터를 효율적으로 이동시켜야 하고, GPU는 지속적으로 생산성을 유지해야 하며, 인프라는 확장 가능해야 합니다.

하지만 이제 이것만이 중요한 질문은 아닙니다.

에이전틱 AI에게 민감한 엔터프라이즈 데이터를 맡겨도 신뢰할 수 있는가? 모든 작업에 대해 에이전트의 작동 속도에 맞춰 정책을 지속적으로 적용할 수 있는가? 자율형 시스템을 실시간으로 모니터링할 수 있는가? 신뢰할 수 있는 엔터프라이즈 통제 기능을 AI 데이터 경로까지 직접 확장할 수 있는가?

바로 이러한 질문들이 어떤 AI 플랫폼이 실제로 프로덕션 환경에 도입될지를 결정하게 될 것입니다.

엔터프라이즈 AI 시장의 승자는 가장 화려한 데모나 가장 인상적인 벤치마크 자료를 제시하는 기업이 아닐 것입니다. 기업들이 실제 프로덕션 데이터, 실제 워크플로우, 실제 비즈니스 의사결정에 자율형 AI가 상호작용하도록 맡길 만큼 충분히 신뢰하는 플랫폼이 승자가 될 것입니다. 왜냐하면 통제 기능이 사후에 추가되는 것이 아니라 처음부터 아키텍처 자체에 내장되어 있기 때문입니다.