, ,

Waarom de toekomst van high-performance computing afhankelijk is van dataopslag

De rekenkracht groeit exponentieel, maar de traditionele opslaginfrastructuur kan dit niet bijhouden. Bekijk wat innovatie en wetenschappelijke ontdekking kan versnellen en hoe het kan helpen.

High-performance Computing

Samenvatting

Traditional storage has become a bottleneck, limiting the full potential of HPC environments. The future of HPC and scientific breakthroughs hinges on having a platform that is specifically engineered for these data-intensive workloads.

image_pdfimage_print

High-performance computing (HPC) staat op het snijvlak van wetenschappelijke ontdekking en technologische innovatie – of het nu gaat om het simuleren van klimaatmodellen, het analyseren van genomische data of het trainen van enorme AI-modellen. De rekenkundige eisen van de workloads nemen exponentieel toe, waardoor traditionele opslagbenaderingen kritieke knelpunten worden, waardoor het volledige potentieel van HPC-omgevingen wordt beperkt.

Daarom zullen de meest succesvolle HPC-implementaties één cruciaal ding gemeen hebben: een massaal schaalbaar opslagplatform dat in staat is om deze krachtige systemen te voeden. 

De data-uitdaging: Waarom traditionele opslag het niet kan bijhouden

High-performance computeromgevingen genereren en verwerken enorme hoeveelheden data met ongekende snelheden. De evolutie van GPU-technologie en gespecialiseerde accelerators heeft rekenmogelijkheden gecreëerd die data sneller kunnen verwerken dan conventionele opslagsystemen ze kunnen bieden. Deze onbalans creëert een fundamenteel probleem: zelfs de krachtigste computersystemen kunnen slechts zo snel werken als ze toegang hebben tot hun data.

Traditionele opslagoplossingen, oorspronkelijk ontworpen voor voorspelbare workloads, worstelen vaak met verschillende kritieke aspecten van moderne HPC-vereisten:

  • Enorme gelijktijdigheid: HPC-workloads omvatten vaak duizenden parallelle processen die gelijktijdige toegang tot data vereisen.
  • Metadata performance: Naast de ruwe verwerkingscapaciteit wordt het vermogen om miljarden Metadata bewerkingente verwerken van cruciaal belang.
  • Schaalbaarheid: Naarmate datasets groeien naar petabyte- en exabyte-schaal, moeten opslagsystemen zowel capaciteit als prestaties lineair schalen.
  • Energie-efficiëntie: De rekendichtheid van moderne HPC-clusters vereist opslagoplossingen die het stroomverbruik en de koelingsvereisten minimaliseren.

Volgens recente bevindingen van Intersect360 Research vertegenwoordigen deze knelpunten enkele van de meest urgente problemen waarmee de HPC-AI-industrie vandaag de dag wordt geconfronteerd. Organisaties vinden hun dure GPU-resources steeds vaker inactief en wachten op de verwerking van data.

De Pure Storage-benadering van HPC Storage

Bij Pure Storage hebben we de opslagarchitectuur vanaf de basis opnieuw uitgevonden om deze fundamentele HPC-uitdagingen aan te pakken. In plaats van legacy-ontwerpen aan te passen, hebben we een platform gebouwd dat speciaal is ontworpen voor moderne data-intensieve workloads.

Onze aanpak is gebaseerd op drie kernprincipes:

  1. Enorm parallelle architectuur: Net als HPC zelf moet opslag op een zeer parallelle manier werken om maximale doorvoer te bereiken.
  2. Flash-native ontwerp: DirectFlash®-technologie stelt ons in staat om flash NAND native te beheren in plaats van het gedrag van harde schijven na te bootsen, waardoor de prestaties, betrouwbaarheid en efficiëntie drastisch worden verbeterd.
  3. Vereenvoudigd beheer: HPC-omgevingen zijn complex genoeg zonder opslagbeheeroverhead toe te voegen.

Deze filosofie heeft geleid tot onze nieuwste innovatie die speciaal is ontworpen voor de meest veeleisende HPC- en AI-workloads.

Maak kennis met FlashBlade//EXA: Prestaties op schaal herdefiniëren

Met trots introduceren we FlashBlade//EXA™, het krachtigste dataopslagplatform in de branche dat is gebouwd om AI-fabrieken en HPC-omgevingen aan te drijven door extreme verwerkingscapaciteit op ongekende schaal te leveren. Deze baanbrekende oplossing pakt de fundamentele uitdagingen aan die HPC-opslag tot nu toe hebben beperkt.

FlashBlade//EXA vertegenwoordigt een paradigmaverschuiving in de opslagarchitectuur met verschillende revolutionaire mogelijkheden:

  • Ongeëvenaarde prestaties: Het platform levert meer dan 10TB/s leessnelheid en schrijfprestaties, maar liefst 50% van de leessnelheid op algemene beschikbaarheid deze zomer.
  • Gedisaggregeerde architectuur: Onafhankelijk schalen van data- en Metadata vlakkenelimineert traditionele knelpunten.
  • Massaal gedistribueerde Metadata: Onze bewezen Metadata core kan miljarden operaties en meer dan 20 keer de bestandssystemen in één naamruimte ondersteunen in vergelijking met alternatieven.
  • Integratie volgens industrienormen: Het gebruik van gemeenschappelijke protocollen en kant-en-klare hardware voor het datavlak zorgt voor naadloze integratie in bestaande omgevingen.

Zoals Rob Lee, Chief Technology Officer bij Pure Storage, uitlegt: “FlashBlade//EXA levert een massaal parallelle architectuur die onafhankelijke schaalbaarheid van data en Metadata mogelijk maakt om klanten ongeëvenaarde prestaties, schaalbaarheid en aanpasbaarheid te bieden voor enkele van de grootste, meest veeleisende dataomgevingen ter wereld. Storage versnelt nu het tempo van grootschalige HPC- en AI-evolutie.”

Impact op de echte wereld: Pure Storage en CERN-partnerschap

De echte test van elke technologie is de echte toepassing. Daarom zijn we bijzonder enthousiast over onze onlangs aangekondigde samenwerking met CERN Openlab, het Europees Laboratorium voor Deeltjesfysica, om de ontwikkeling van geavanceerde ICT-oplossingen voor de Large Hadron Collider te versnellen.

CERN genereert enorme hoeveelheden data door middel van zijn hoogenergetische natuurkundige experimenten, data die effectief moeten worden geregistreerd, opgeslagen en geanalyseerd om ons begrip van het universum te vergroten. Traditionele opslagoplossingen zijn belangrijke knelpunten geworden voor hun high-performance computerbehoeften.

Via deze meerjarige overeenkomst zullen Pure Storage en CERN Openlab:

  • Ontdek hoe DirectFlash-technologie de behoeften van toekomstig wetenschappelijk onderzoek kan ondersteunen
  • Optimaliseer exabyte-scale flashinfrastructuur voor Grid Computing en HPC-workloads
  • Mogelijkheden identificeren om de prestaties in zowel software als hardware te maximaliseren en tegelijkertijd de energie-efficiëntie te verbeteren

“Samen met CERN openlab verleggen we de grenzen van wat mogelijk is in HPC- en Grid Computing-omgevingen die geavanceerde wetenschappelijke workflows ondersteunen,” aldus Lee. “Met de integratie van onze state-of-the-art technologie in het grootschalige gedistribueerde opslagsysteem van CERN, is CERN openlab klaar om de ongekende hoeveelheden data met ongeëvenaarde snelheid en betrouwbaarheid aan te pakken en onderzoekers te ondersteunen bij de buitengewone uitdagingen die het High-Luminosity Large Hadron Collider (HL-LHC)-tijdperk met zich meebrengt.”

Luca Mascetti, Storage CTO bij CERN openlab, voegt daaraan toe: “We verwachten dat dit partnerschap enkele belangrijke overwinningen zal opleveren terwijl we kijken naar de toekomst van het opslaan van wetenschappelijke experimentengegevens. Ten eerste verwachten we deze technologie te integreren in ons grootschalige gedistribueerde opslagsysteem en data effectiever te leveren, waardoor we een manier bieden om de opslagprestaties te schalen die verder gaat dan wat vandaag de dag mogelijk is. Ten tweede hopen we de volgende generatie doorbraken op het gebied van high-energy fysica bij CERN te ontsluiten en de bredere wetenschappelijke gemeenschap het potentieel te tonen voor het verbeteren van de opslagcapaciteit, waardoor het tempo van ontdekking en innovatie bij onderzoeksinstellingen wereldwijd wordt versneld.”

Het grotere geheel: Het aanpakken van industriebrede HPC-uitdagingen

Naast ruwe prestaties pakt onze aanpak verschillende kritieke uitdagingen aan waarmee de HPC-industrie in 2025 wordt geconfronteerd:

Het wereldwijde HPC-landschap blijft te maken krijgen met aanzienlijke uitdagingen in de toeleveringsketen, met doorlooptijden voor high-end GPU-servers en -componenten variërend van 6 tot 12 maanden. Door kant-en-klare servers voor het datavlak te ondersteunen, biedt FlashBlade//EXA meer flexibiliteit in infrastructuurplanning en -implementatie.

Naarmate HPC-implementaties groeien, worden stroomverbruik en koelingsvereisten steeds problematischer. De indrukwekkende prestatiedichtheid van 3,4 TB/sec per rack FlashBlade//EXA helpt de steeds groeiende energie- en koelingskosten te optimaliseren die gepaard gaan met energieverslindende GPU-omgevingen.

Het tekort aan geschoold personeel in computerwetenschappen en HPC-AI-systeembeheer vormt een aanzienlijke uitdaging in de sector. Onze focus op vereenvoudigd beheer vermindert de operationele overhead, waardoor organisaties high-performance opslag kunnen implementeren en beheren zonder gespecialiseerde expertise.

Innovatie versnellen in verschillende industrieën

De impact van geavanceerde opslagtechnologie gaat verder dan traditionele HPC-omgevingen. We hebben opmerkelijke resultaten gezien in diverse industrieën. 

In genomicaonderzoek maakte de Universiteit van Helsinki gebruik van FLASHBLADE® om haar werk aan het Birch Genome Project aanzienlijk te versnellen. “Het was belangrijk voor ons om dingen parallel te doen, en de overstap naar FLASHBLADE heeft ons in staat gesteld het proces aanzienlijk te versnellen,” zei projectleider Assistent professor Jarkko Salojarvi. Nu FLASHBLADE hen in staat stelt om tot vier taken parallel uit te voeren, heeft het team het project in slechts 18 maanden halverwege gehaald en meer dan 550 genoomassemblages voltooid in vergelijking met minder dan 100 in hetzelfde tijdsbestek met sequentiële verwerking.

In grootschalige AI hebben organisaties vertrouwd op FLASHBLADE om hun AI-workloads efficiënt te schalen. Naarmate AI-modellen in omvang en complexiteit toenemen, wordt de opslaginfrastructuur steeds belangrijker voor succesvolle resultaten.

De weg vooruit: Storage als katalysator voor ontdekking

Zoals we eerder hebben gezegd, kunnen zelfs de krachtigste computersystemen slechts zo snel werken als ze toegang hebben tot hun data. Om HPC zijn naam te laten waarmaken, zal opslagtechnologie een steeds essentiëlere rol spelen. De traditionele visie van opslag als passieve opslagplaats maakt plaats voor een nieuw begrip: opslag als een actieve accelerator van rekenwerklasten.

Door knelpunten in datatoegang weg te nemen, ondersteunen oplossingen zoals FlashBlade//EXA niet alleen HPC-workloads, ze transformeren fundamenteel wat mogelijk is. Onderzoekers kunnen met grotere datasets werken, complexere simulaties uitvoeren en sneller itereren, waardoor het ontdekkingstempo uiteindelijk wordt versneld.

De visie van Pure Storage voor HPC-storage combineert ongekende prestaties met radicale eenvoud. Wij geloven dat we door het elimineren van knelpunten en complexiteit in opslag de volgende generatie wetenschappelijke en technologische doorbraken kunnen helpen ontsluiten.

In een wereld waarin rekenkracht exponentieel blijft groeien, is het hebben van een opslaginfrastructuur die gelijke tred kan houden niet alleen een voordeel – het is ook een noodzaak. De toekomst van HPC hangt ervan af.

Pure AI