In che modo Pure Storage elimina i colli di bottiglia computazionali, ottimizzando l’utilizzo della GPU per i workload di AI

Immagina che un’azienda abbia appena effettuato un investimento di 100.000 dollari, o addirittura 1 milione di dollari, in un cluster GPU per l’AI, ma solo il 62% di queste GPU viene utilizzato in modo coerente alla capacità. Ciò potrebbe comportare notevoli sprechi finanziari e perdita di ROI. 

Tuttavia, i proprietari dell’infrastruttura possono prendere una decisione cruciale per evitare queste perdite, non solo finanziarie, ma anche di performance, efficienza e opportunità. Inizia osservando un’infrastruttura di data storage con performance inferiori, che può influire notevolmente sulle performance della GPU e sprecare i cicli della GPU.

Negli ambienti di AI, massimizzare l’utilizzo della GPU è fondamentale per operazioni efficienti. Pure Storage risolve queste sfide fornendo architetture di storage progettate per ottimizzare l’utilizzo della GPU. Vediamo come.

Vincoli tecnici e soluzioni

La piattaforma Pure Storage affronta tre vincoli tecnici chiave:

• Latenza di acquisizione dati: Riduzione dei tempi di attesa degli I/O per garantire un flusso di dati continuo
• Limiti di simultaneità: Miglioramento delle funzionalità di formazione multi-GPU
• Variabilità della velocità di trasmissione: Gestione dei burst di inferenza per performance costanti

Interdipendenza dello storage GPU nelle pipeline di AI

I workload AI moderni richiedono una data delivery parallelizzata che corrisponda alla larghezza di banda della memoria della GPU. Ad esempio, le GPU NVIDIA Blackwell richiedono una larghezza di banda di memoria aggregata elevata. Pure Storage^® FlashBlade//S™ offre performance elevate tramite:

• Ottimizzazione del protocollo NVMe-oF: Miglioramento dell’efficienza di trasferimento dei dati
• Moduli DirectFlash® basati su ARM: Riduzione dei costi generali di gestione dello stack software
• Ottimizzazione dinamica della parità: Ottimizzazione dei workload misti di lettura/scrittura

Questa architettura riduce notevolmente i cicli di stallo dei dati, mantenendo saturi i core dei GPU tensori GPU.

Benchmark tecnico: Impatto dello storage sull’efficienza della formazione

Risolvere le sfide dei workload di AI di nuova generazione

In termini di utilizzo della GPU, la piattaforma Pure Storage offre:

Ottimizzazione RAG (Retrieval-Augmented Generation)

Una soluzione RAG congiunta di Pure Storage e NVIDIA include:

• Direct storage GPU: Superare i colli di bottiglia della CPU
• pipeline indicizzate ai Metadata: Riduzione della latenza dei prompt LLM
• Velocità di trasmissione controllata da QoS: Garantire performance costanti

Scopri di più sulla soluzione RAG.

Scalabilità a risparmio energetico

• Compressione accelerata dall’hardware: Riduzione dell’ingombro dei dati
• Tiering predittivo: Spostamento dei dati freddi in uno storage più denso

Accelerazione della formazione distribuita

La piattaforma Pure Storage offre:

• Bassa latenza di lettura: Nei cluster GPU geo-distribuiti
• Zero downtime di ricostruzione: Durante l’espansione della capacità
• Tasso di hit della cache elevato: Per dataset multimodali

La differenziazione competitiva di Pure Storage

• kernel stack Linux ottimizzato per Flash: Minore utilizzo della CPU
• Geometria RAID dinamica: Mantenimento di un tempo di attività elevato durante i picchi di ingest
• API di orchestrazione dei workload AI: Automazione del posizionamento dei dati in base alla topologia dei cluster GPU

Trattando lo storage come un coprocessore GPU, Pure Storage consente alle aziende di massimizzare il potenziale della propria infrastruttura AI.

Linee guida per l’implementazione

Per allineare le performance di GPU e storage, considera il seguente esempio Python:

Framework RAG multi-agente

L’avvento degli LLM ha guidato lo sviluppo di paradigmi avanzati come gli agenti AI e i sistemi RAG multi-agente. A differenza delle pipeline RAG tradizionali, che eseguono il recupero a passaggio singolo da una sola fonte di conoscenza esterna, i framework RAG multi-agente orchestrano il recupero tra più agenti specializzati, ciascuno dei quali accede a origini dati distinte. Questa architettura aumenta notevolmente la complessità e le esigenze di I/O di storage per il caricamento e il checkpoint dei dati, al fine di salvare e ripristinare lo stato attuale del modello durante l’addestramento.

Le performance di caricamento dei dati sono influenzate da diversi fattori di basso livello:

• Caricamento della composizione della pipeline: Prevede l’esecuzione sequenziale o parallela delle operazioni di I/O di storage e delle fasi di pre-elaborazione/trasformazione dei dati
• Modelli di accesso I/O: Determinato in base alla struttura del set di dati, alla strategia di campionamento e ai requisiti di input specifici del modello (ad es. accesso sequenziale o casuale)
• Caratteristiche dei sottosistemi di storage: Deve supportare letture a bassa latenza e velocità di trasmissione elevata per ridurre al minimo il tempo di inattività della GPU a causa dei colli di bottiglia degli I/O
  

Le performance di controllo sono influenzate dai seguenti fattori:

• Gestione efficiente dei dati: Il checkpoint nell’addestramento dei modelli su larga scala richiede un’elevata larghezza di banda in lettura e scrittura per ridurre al minimo le interruzioni dell’addestramento durante le operazioni di salvataggio e restore.
• File di check-point: I punti di controllo sono in genere costituiti da uno o più file, ciascuno dei quali è scritto da un processo o thread dedicato, che aderisce a un modello a scrittura singola per garantire la coerenza.
• Costi generali di storage elevati: Per i modelli di grandi dimensioni e i lavori di addestramento prolungati, i requisiti di storage aggregato per i checkpoint periodici possono essere sostanziali, richiedendo soluzioni di storage ottimizzate e pianificazione degli I/O per gestire efficacemente l’amplificazione in scrittura e l’utilizzo dello storage flash.

I parametri chiave che influiscono sull’efficienza degli I/O di storage includono le dimensioni di campioni e batch, la simultaneità (numero di thread di lettori e scrittori), il protocollo I/O e la strategia di parallelismo, le operazioni di lettura asincrona e l’efficacia dei livelli di cache. L’ottimizzazione di questi componenti è fondamentale per sostenere l’utilizzo delle GPU e garantire performance di addestramento scalabili nei sistemi RAG multi-agente.

Per ulteriori informazioni sull’ottimizzazione delle pipeline di AI con Pure Storage, visita la nostra pagina dedicata alle soluzioni di AI.

Scopri di più sulla nostra partnership con NVIDIA.