Waarom opslag de onbezongen held is voor AI

In de race naar artificiële algemene intelligentie (AGI) bepaalt opslagtechnologie het tempo. Terwijl algoritmen en compute de schijnwerpers zetten, is opslag de drijvende kracht achter AI-doorbraken. Tijdens de flashrevolutie stagneerden 15K schijven omdat de rekenprestaties om de twee jaar verdubbelden, maar door flash ondersteunde virtualisatie en, tegenwoordig, GPU-gestuurde workloads stimuleren verdere opslaginnovatie naast de eisen aan efficiëntie, duurzaamheid en betrouwbaarheid.

Vroege AI-inspanningen werden beperkt door algoritmische complexiteit en dataschaarste, maar naarmate algoritmen zich ontwikkelden, ontstonden er geheugen- en opslagknelpunten. High-performance opslag heeft doorbraken opgeleverd zoals ImageNet, dat visiemodellen aanwakkerde, en GPT-3, waarvoor petabytes aan opslag nodig waren. Met 400 miljoen terabytes aan data die dagelijks worden gegenereerd, moet opslag exabyte-scale workloads beheren met een latency van minder dan een milliseconde om AGI en quantum Machine Learning aan te drijven. Naarmate AI vorderde, stelde elke innovatiegolf nieuwe eisen aan opslag, waardoor de capaciteit, snelheid en schaalbaarheid werden verbeterd om tegemoet te komen aan steeds complexere modellen en grotere datasets.

• Klassiek Machine Learning (1980s-2015): Spraakherkenning en modellen voor begeleid leren stimuleerden de groei van datasets van megabytes naar gigabytes, waardoor het ophalen van data en de organisatie steeds belangrijker worden.
• deep learning-revolutie (2012-2017): Modellen zoals AlexNet en ResNet hebben de opslagbehoeften opgevoerd, terwijl Word2Vec en GloVe de natuurlijke taalverwerking hebben verbeterd en zijn overgestapt op snelle NVMe-opslag voor datasets op terabyte-schaal.
• Basismodellen (2018-heden): BERT introduceerde datasets op petabyte-schaal, waarbij GPT-3 en Llama 3 schaalbare systemen met lage latency zoals Meta’s Tectonic nodig hebben om biljoenen tokens te verwerken en een doorvoercapaciteit van 7TB/s te behouden.
• Chinchilla schaalwetten (2022): Chinchilla benadrukte het groeien van datasets boven LLM-modelgrootte, waarbij parallelle-toegangsopslag nodig was om de prestaties te optimaliseren.

Storage ondersteunt niet alleen AI – het loopt voorop en geeft vorm aan de toekomst van innovatie door de steeds groeiende data ter wereld efficiënt en op schaal te beheren. AI-applicaties in autonoom rijden zijn bijvoorbeeld afhankelijk van opslagplatforms die in staat zijn om petabytes aan sensorgegevens in realtime te verwerken, terwijl genomicaonderzoek snelle toegang tot enorme datasets vereist om ontdekkingen te versnellen. Terwijl AI de grenzen van datamanagement blijft verleggen, worden traditionele opslagsystemen geconfronteerd met toenemende uitdagingen in overeenstemming met deze veranderende eisen, waardoor de noodzaak van speciaal gebouwde oplossingen wordt benadrukt.

Hoe AI-workloads traditionele opslagsystemen belasten

Dataconsolidatie en volumemanagement

AI-applicaties beheren datasets variërend van terabytes tot honderden petabytes, die de mogelijkheden van traditionele opslagsystemen zoals NAS, SAN en legacy direct-attached storage ver overtreffen. Deze systemen, ontworpen voor nauwkeurige, transactionele workloads zoals het genereren van rapporten of het ophalen van specifieke records, worstelen met de aggregatie-intensieve eisen van data science en de vloeiende, snelle toegangspatronen van AI/ML-workloads. Modeltraining, waarvoor massaal, batchgewijs dataherstel over volledige datasets nodig is, benadrukt deze verkeerde uitlijning. De starre architecturen, capaciteitsbeperkingen en onvoldoende verwerkingscapaciteit van traditionele infrastructuur maken het ongeschikt voor de schaal en snelheid van AI, waardoor de behoefte aan speciaal gebouwde opslagplatforms wordt onderstreept.

Prestatieknelpunten voor snelle datatoegang

Realtime analyses en besluitvorming zijn essentieel voor AI-workloads, maar traditionele opslagarchitecturen creëren vaak knelpunten met onvoldoende IOPS, omdat ze zijn gebouwd voor gematigde transactietaken in plaats van de intensieve, parallelle lees-/schrijfvereisten van AI. Bovendien vertraagt hoge latency door draaiende schijven of verouderde cachingmechanismen de toegang tot data, waardoor de tijd tot Insight toeneemt en de efficiëntie van AI-processen wordt verminderd.

Omgaan met diverse datatypes en workloads

AI-systemen verwerken zowel gestructureerde als ongestructureerde data, waaronder tekst, afbeeldingen, audio en video, maar traditionele opslagoplossingen worstelen met deze diversiteit. Ze zijn vaak geoptimaliseerd voor gestructureerde data, wat resulteert in langzaam ophalen en inefficiënte verwerking van ongestructureerde formaten. Bovendien maken slechte indexering en Metadata beheerhet moeilijk om diverse datasets effectief te organiseren en te doorzoeken. Traditionele systemen hebben ook te maken met prestatieproblemen met kleine bestanden, gebruikelijk in trainingstaalmodellen, omdat hoge Metadata-overhead leidt tot vertragingen en langere verwerkingstijden.

Beperkingen van legacy-architectuur

Het cumulatieve effect van deze uitdagingen is dat traditionele opslagarchitecturen de eisen van moderne AI-workloads niet kunnen bijhouden. Ze missen de flexibiliteit, prestaties en schaalbaarheid die nodig zijn om de diverse en grote datavereisten van AI te ondersteunen. Deze beperkingen benadrukken de behoefte aan geavanceerde opslagoplossingen die zijn ontworpen om de unieke uitdagingen van AI-toepassingen aan te kunnen, zoals snelle schaalbaarheid, hoge verwerkingscapaciteit, lage latency en diverse dataverwerking. 

Belangrijkste opslaguitdagingen in AI

AI-workloads stellen unieke eisen aan opslagsystemen en het aanpakken van deze uitdagingen vereist geavanceerde mogelijkheden op de volgende gebieden:

• Unified dataconsolidatie: Datasilo’s versnipperen waardevolle informatie, waardoor consolidatie nodig is in een uniform platform dat diverse AI-workloads ondersteunt voor naadloze verwerking en training.
• Schaalbare prestaties en capaciteit: Een robuust opslagplatform moet diverse I/O-profielen beheren en schalen van terabytes tot exabytes, waardoor toegang met lage latency en hoge verwerkingscapaciteit wordt gegarandeerd. Door non-disruptieve schaalbaarheid mogelijk te maken, stelt het platform AI-workloads in staat om naadloos uit te breiden naarmate de vraag naar data toeneemt, met behoud van soepele, ononderbroken activiteiten.
• Flexibiliteit bij scale-up en scale-out: Het afhandelen van transactietoegang met lage latency voor vectordatabases en workloads met hoge concurrency voor training en gevolgtrekking vereist een platform dat beide mogelijkheden biedt.
• Betrouwbaarheid en continue uptime: Naarmate AI cruciaal wordt voor ondernemingen, is 99,9999% uptime essentieel. Een opslagplatform moet non-disruptieve upgrades en hardwarevernieuwingen ondersteunen, waardoor continue activiteiten worden gegarandeerd zonder dat downtime zichtbaar is voor eindgebruikers.

Optimalisatie van opslag over de AI-pijplijn

Effectieve opslagoplossingen zijn essentieel in elke fase van de AI-pijplijn, van datacuratie tot training en gevolgtrekking, omdat ze AI-workloads in staat stellen efficiënt en op schaal te werken. AI-pipelines vereisen opslag die naadloos latency-gevoelige taken aankan, kan schalen om te voldoen aan hoge-concurrency-eisen, verschillende datatypes ondersteunt en prestaties in gedistribueerde omgevingen kan behouden.

Afbeelding 1: Opslagpatronen voor AI zijn gevarieerd en vereisen een platform dat is gebouwd voor multidimensionale prestaties.

In de datacuratiefase begint het beheer van datasets op petabyte-to exabyte-schaal met opname, waarbij opslag naadloos moet schalen om enorme datavolumes aan te kunnen en tegelijkertijd een hoge verwerkingscapaciteit te garanderen. Realtime applicaties, zoals autonoom rijden, vereisen opslag met een lage latency die in staat is om inkomende data direct te verwerken. DirectFlash®-modules (DFM’s) blinken uit in deze scenario’s door traditionele SSD-architecturen te omzeilen om rechtstreeks toegang te krijgen tot NAND-flash, waardoor snellere, consistentere prestaties worden geleverd met aanzienlijk verminderde latency. Vergeleken met legacy SSD’s en SCM bieden DFM’s ook een grotere energie-efficiëntie, waardoor organisaties kunnen voldoen aan de eisen van grootschalige AI-workloads, terwijl het stroomverbruik wordt geoptimaliseerd en de voorspelbare prestaties onder hoge gelijktijdigheid behouden blijven.

Tijdens persistentie moeten data-opslag oplossingen langdurige retentie en snelle toegankelijkheid voor vaak gebruikte data ondersteunen. De verwerkingsstap is essentieel voor het voorbereiden van data voor training, waarbij opslag een reeks datatypes en -groottes efficiënt moet beheren, en gestructureerde en ongestructureerde data moet verwerken in formaten zoals NFS, SMB en object.

In de AI-trainings- en inferentiefase genereert modeltraining intensieve lees-/schrijfvereisten, waarvoor scale-out-architecturen nodig zijn om de prestaties over meerdere nodes te garanderen. Efficiënte controlepunt- en versiebesturingssystemen zijn in dit stadium van cruciaal belang om dataverlies te voorkomen. Naast checkpointing vormen opkomende architecturen zoals retrieval-augmented generation (RAG) unieke uitdagingen voor opslagsystemen. RAG vertrouwt op efficiënt ophalen van externe kennisbanken tijdens gevolgtrekking, waarbij opslag met lage latency en hoge verwerkingscapaciteit nodig is die in staat is om gelijktijdige, parallelle query’s af te handelen. Dit legt extra druk op Metadata beheeren schaalbare indexering, waardoor geavanceerde opslagarchitecturen nodig zijn om de prestaties te optimaliseren zonder knelpunten.

Door opslagoplossingen af te stemmen op de specifieke behoeften van elke pijplijnfase, kunnen organisaties de AI-prestaties optimaliseren en de flexibiliteit behouden die nodig is om de veranderende AI-eisen te ondersteunen.

De datastreamoplossing introduceren

Om het aanhoudende knelpunt van het voorbereiden van ruwe data voor AI-workflows aan te pakken, heeft Pure Storage onlangsData Stream geïntroduceerd – een GPU-centrische, geïntegreerde hardware- en softwarestack die speciaal is ontwikkeld voor de paraatheid van AI-data. 

In tegenstelling tot traditionele opslagsystemen die simpelweg data bevatten, automatiseert Data Stream actief inname, transformatie en optimalisatie. Het zet vervolgens ongestructureerde activa (documenten, afbeeldingen, tabellen) om in AI-ready vectoren en Metadata op schaal. 

De datastream neemt enorme hoeveelheden bestanden op uit multiprotocolbronnen (NFS, SMB, S3), voert semantische “chunking” uit (bijv. zinnen, paragrafen) om context te behouden, en verrijkt en levert vervolgens de output in formaten die zijn geoptimaliseerd voor vectordatabases en GPU-inferentiepijplijnen.

Door deze verwerking in de opslaglaag zelf in te bedden, overbrugt de Data Stream de kloof tussen ruwe data-inertie en realtime AI-inferentie, waardoor ondernemingen maanden aan dataprep in enkele minuten kunnen instorten. Op deze manier kunt u ervoor zorgen dat hun GPU’s gevoed blijven, hun modellen vers blijven en hun gevolgpijplijnen ononderbroken draaien.

Conclusie

Storage is de ruggengraat van AI, met toenemende complexiteit van het model en data-intensiteit die exponentiële eisen aan de infrastructuur stellen. Traditionele opslagarchitecturen kunnen niet aan deze behoeften voldoen, waardoor de adoptie van agile, high-performance opslagoplossingen essentieel is.

De symbiotische relatie tussen AI en opslagplatforms betekent dat de vooruitgang in opslag niet alleen ondersteuning biedt, maar ook de vooruitgang van AI versnelt. Voor bedrijven die net AI beginnen te verkennen, is flexibiliteit cruciaal: Ze hebben opslag nodig die kan schalen naarmate hun data- en computebehoeften groeien, meerdere formaten ondersteunt (bijv. bestand, object) en gemakkelijk integreert met bestaande tools.

Organisaties die investeren in moderne opslagplatforms plaatsen zichzelf in de voorhoede van innovatie. Dit vereist:

• Infrastructuur beoordelen: Huidige beperkingen en gebieden voor onmiddellijke verbetering identificeren.
• Schaalbare oplossingen implementeren: Implementeer platforms die flexibiliteit, hoge prestaties en naadloze groei bieden.
• Plannen voor toekomstige behoeften: Blijf opkomende trends voor om ervoor te zorgen dat het platform meegroeit met AI-ontwikkelingen.

Door opslagplatforms te prioriteren als een kerncomponent van AI-strategie, kunnen organisaties nieuwe kansen ontsluiten, voortdurende innovatie stimuleren en een concurrentievoordeel behouden in de datagestuurde toekomst.

Wilt u meer weten?

Bezoek de AIAIoplossingenpagina

Download de whitepaper: “Het Pure Storage-platform voor AI”

Pure Storage Business white paper

De Pure Storage
Platform voor AI versnelt
en vereenvoudigt AI-implementaties

White paper lezen