Accelerazione degli insight aziendali: Pure Storage e la data platform NVIDIA AI potenziano il ragionamento di precisione su vasta scala

In un’epoca in cui i millisecondi sono in grado di determinare la leadership di mercato, le aziende devono affrontare una sfida cruciale: trasformare vasti repository di dati in intelligence fruibile con velocità e precisione senza precedenti. Le aziende, gli hyperscaler e i neocloud come i clienti Meta e Coreweave hanno ottenuto un successo enorme con FlashBlade//S™ e la piattaforma Pure Storage per molte delle loro esigenze di workload AI. Con più convalide dello storage certificate NVIDIA, i clienti possono essere certi che il deployment dell’infrastruttura AI sarà rapido e fluido. 

Per i clienti su larga scala con sofisticati requisiti di inferenza AI, il design di riferimento NVIDIA dati NVIDIA AI implementato con Pure Storage^® FlashBlade//EXA™ e Portworx^® ridefinisce il modo in cui le organizzazioni possono trasformare enormi volumi di dati in intelligence in tempo reale. Questo stack completo non solo accelera l’inferenza, ma sblocca anche il ragionamento di precisione su vasta scala, consentendo alle aziende di grandi dimensioni di decodificare dataset complessi con precisione chirurgica, mantenendo al contempo una sicurezza di livello produttivo. 

L’imperativo dell’intelligenza: Perché la velocità e la precisione contano

Le aziende moderne operano in ambienti in cui gli insight ritardati equivalgono alle opportunità perse. L’implementazione di Pure Storage di NVIDIA AI Data Platform risolve questo problema combinando il calcolo accelerato con l’orchestrazione intelligente dei dati, creando un ciclo di feedback tra la conoscenza aziendale e il ragionamento sull’AI. In sostanza, questa infrastruttura consente di:

• Analisi in tempo reale dei dati multimodali (testo, immagini, video) con latenza inferiore al secondo
• Ragionamento contestuale tra dataset distribuiti
• Approfondimenti affidabili e governance dei dati tramite controlli di sicurezza granulari

Sfruttando l’elaborazione accelerata tramite NVIDIA Blackwell, il networking NVIDIA, il software RAG (Recovering-Augmented Generation), che include i microservizi NVIDIA NeMo Retriever e AI-Q NVIDIA Blueprint, e l’architettura ottimizzata per i metadati di Pure Storage, le organizzazioni riducono il tempo di analisi da giorni a secondi, mantenendo al contempo un’elevata precisione di inferenza negli ambienti di produzione.

Figura 1. Implementazione di Pure Storage della Data Platform NVIDIA AI.

FlashBlade//EXA: Il motore della velocità dei dati

Pure Storage FlashBlade//EXA elimina i colli di bottiglia dello storage tradizionale con oltre 10 TB/s di velocità di trasmissione in un unico namespace, sufficienti per elaborare l’intera raccolta della Library of Congress in meno di tre minuti. 

In che modo la disaggregazione dei nodi di dati e Metadata consente un’enorme inferenza su vasta scala

Il vantaggio principale della progettazione disaggregata di FlashBlade//EXA è la possibilità di scalare i metadati e le performance dei dati in modo indipendente. Ciò significa che le organizzazioni possono abbinare con precisione la propria architettura storage alle esigenze specifiche dei workload di inferenza senza eseguire il provisioning eccessivo di entrambi i componenti.

Per i workload di inferenza che richiedono un accesso rapido a migliaia o milioni di file più piccoli, il livello di metadati può essere scalato in modo appropriato. Allo stesso modo, per i workload che si occupano di enormi dataset costituiti da file enormi, il livello dei dati può essere ampliato senza inutili costi generali di gestione dei metadati. Questa flessibilità consente una scalabilità “virtualmente infinita”.

La separazione dei metadati e dell’elaborazione dei dati fornisce un accesso ai dati non bloccante che diventa sempre più importante in scenari di calcolo a performance elevate in cui le operazioni dei metadati possono essere uguali o addirittura superare le operazioni di I/O dei dati effettive. Questa architettura garantisce che le GPU siano costantemente alimentate con i dati alla massima velocità possibile, eliminando costosi tempi di inattività.

Grazie alla sua architettura disaggregata e parallela, FlashBlade//EXA risolve il problema di scalare i workload AI, eliminando il tempo di inattività della GPU, in modo che le aziende possano accelerare l’addestramento e l’inferenza dell’AI. Questa distribuzione efficiente dei dati è cruciale per i workload di inferenza in cui le performance costanti e prevedibili sono spesso più importanti delle velocità di picco, il che è possibile grazie alla condivisione efficiente della cache KV per workload bursty e misti. 

Portworx e FlashBlade//EXA Synergy per l’accelerazione dell’inferenza

La sinergia tra Portworx e FlashBlade//EXA accelera l’inferenza AI su vasta scala combinando la gestione dei dati nativa per Kubernetes di Portworx e il caching intelligente dei modelli con l’architettura storage parallela ultraveloce FlashBlade//EXA. Portworx garantisce alta disponibilità, accesso a bassa latenza e scalabilità fluida dei dati dei modelli nei workload di inferenza distribuiti, mentre FlashBlade//EXA elimina i colli di bottiglia di storage e metadati con velocità di trasmissione eccezionale e scalabilità disaggregata. Insieme, massimizzano l’utilizzo della GPU, riducono al minimo la latenza di inferenza e forniscono una base solida e flessibile per il deployment e la gestione delle pipeline di inferenza AI negli ambienti di produzione.

La rivoluzione della cache KV disaggregata: Precisione su vasta scala

L’architettura NVIDIA KV Cache reinventa le pipeline di inferenza attraverso tre innovazioni:

1. Caching dei prefissi vicino alla GPU
   • Memorizza i pattern di query più comuni (ad es. controlli di conformità normativa) direttamente in NVMe adiacente alla GPU
2. Pianificazione consapevole del carico
   • Alloca dinamicamente le risorse di precompilazione/decodifica in base alla complessità delle query
   • Mantiene il 95% di utilizzo della GPU anche durante i picchi di traffico
3. Pooling GPU eterogeneo
   • Consente ai cluster di varianti GPU miste di condividere la memoria cache KV

Questa soluzione Pure Storage completa quanto sopra con le seguenti funzionalità per fornire una velocità end-to-end nelle performance dei token al secondo per i deployment di inferenza AI su larga scala.

1. Condivisione della cache KV: Garantisce una condivisione efficiente della cache KV tra le mandrie che si moltiplicano esponenzialmente.
2. Alta simultaneità IO: L’architettura altamente simultanea di FlashBlade^® non è solo ultraveloce, ma eccelle anche in questo modello di I/O esponenzialmente simultaneo.
3. Data reduction: La compressione automatica della cache KV si traduce in IO più veloci e tempi di preriempimento più brevi.

Sicurezza come elemento abilitatore: RBAC per informazioni approfondite affidabili in RAG e AI agente

L’implementazione di un framework di controllo degli accessi (RBAC) basato sui ruoli all’interno di una pipeline di recupero e generazione aumentata (RAG) o di una pipeline di agenti è fondamentale per una gestione dei dati sicura ed efficiente. Ciò implica la definizione di un livello di autorizzazione unificato per definire i ruoli utente e i relativi diritti di accesso in varie fasi: acquisizione, recupero, elaborazione e storage dei dati. Inoltre, i componenti devono supportare una comprensione efficiente delle query per personalizzare l’accesso ai dati in base ai ruoli e alle intenzioni degli utenti, garantendo la conformità con le autorizzazioni impostate. I processi di aumento e generazione dell’AI devono integrare dati specifici per il contesto all’interno di modelli generativi, mantenendo al contempo i protocolli di sicurezza e accesso. I meccanismi di audit e monitoraggio efficaci sono cruciali per monitorare i modelli di accesso e garantire il rispetto delle regole RBAC, aumentando la sicurezza complessiva. Le best practice di sicurezza, come l’utilizzo di un modello zero-trust e l’autenticazione basata su JWT, mettono in evidenza i controlli degli accessi transitori e sicuri, riducendo al minimo l’impatto sulle performance della pipeline.

Portworx implementa un modello di sicurezza zero-trust che accelera invece di inibire l’accesso ai dati:

• Crittografia granulare StorageClass: Crittografa le informazioni di identificazione personale sensibili in volo e a riposo, mantenendo i dati di addestramento accessibili
• Controllo degli accessi basato su JWT: Concede accesso temporaneo e consapevole del contesto alle pipeline RAG
• Registrazione conforme agli audit: Monitora la provenienza dei dati dall’acquisizione raw all’output di inferenza

NVIDIA AI-Q: Il ragionamento del livello di intelligence

AI-Q NVIDIA Blueprint trasforma i dati statici in conoscenze dinamiche attraverso tre componenti principali:

1. Motori di estrazione multimodale: Converte schemi PDF, manuali di servizio e trascrizioni delle chiamate in grafici delle conoscenze strutturati
2. microservizi NeMo Retriever: Offre una precisione di richiamo estremamente elevata nelle ricerche vettoriali su scala miliardi
3. Orchestrazione del toolkit NVIDIA Agent Intelligence: Profilazione e ottimizzazione per sistemi agenti complessi

Se combinato con la velocità dei dati di FlashBlade//EXA, questo stack consente di ottenere informazioni approfondite pronte per la riunione dei consigli di amministrazione dai dati non elaborati in pochissimi cicli di query.

Ragionamento della precisione della potenza su vasta scala: Il nuovo vantaggio competitivo

Le aziende che adottano questo stack riportano risultati trasformativi.

L’implementazione di Pure Storage della NVIDIA dati NVIDIA AI offre il massimo in termini di densità di ragionamento, ovvero la possibilità di estrarre più insight fruibili per terabyte elaborati. Combinando il computing accelerato NVIDIA Blackwell con l’accessibilità dei dati di Pure Storage, le organizzazioni ottengono ciò che prima era impensabile: trasformare l’intero data estate in una risorsa di ragionamento strategico.

Conclusione: Intelligence alla velocità del business

La collaborazione Pure Storage-NVIDIA non si limita a un’infrastruttura AI su vasta scala: la nostra lunga storia di collaborazione garantisce il supporto di clienti di tutte le dimensioni e la maturità dell’AI, sia che stiano iniziando con FlashBlade//S o AIRI^® sia che stiano scalando al massimo livello di requisiti di AI e HPC. 

Man mano che l’AI passa da un progetto sperimentale a un motore di fatturato principale, questa piattaforma fornisce le basi per l’intelligenza continua, ovvero la capacità di ragionare, decidere e agire sui flussi di dati live con la precisione delle macchine. Il futuro appartiene alle aziende che non si limitano a memorizzare i dati, ma li capiscono alla velocità del pensiero.

Maggiori informazioni:

FlashBlade//EXA per AI e HPC su larga scala

Soluzioni di AI Pure Storage

FlashBlade//EXA

Experience the World’s Most Powerful Data Storage Platform for AI

Learn More