Zusammenfassung
Traditional storage has become a bottleneck, limiting the full potential of HPC environments. The future of HPC and scientific breakthroughs hinges on having a platform that is specifically engineered for these data-intensive workloads.
High-Performance Computing (HPC) steht an der Schnittstelle zwischen wissenschaftlicher Entdeckung und technologischer Innovation – sei es die Simulation von Klimamodellen, die Analyse genomischer Daten oder das Training riesiger AIModelle. Die Rechenanforderungen seiner Workloads wachsen exponentiell, was dazu führt, dass herkömmliche Storage-Ansätze zu kritischen Engpässen werden und das volle Potenzial von HPC-Umgebungen einschränken.
Deshalb werden die erfolgreichsten HPC-Implementierungen eines gemeinsam haben: eine massiv skalierbare Storage-Plattform, die diese leistungsstarken Systeme versorgen kann.
Die Datenherausforderung: Warum herkömmlicher Storage nicht mithalten kann
Hochleistungs-Computing-Umgebungen generieren und verarbeiten enorme Datenmengen mit beispielloser Geschwindigkeit. Die Weiterentwicklung der GPU-Technologie und spezialisierter Beschleuniger hat Rechenfunktionen geschaffen, die Daten schneller verarbeiten können, als herkömmliche Storage-Systeme sie bereitstellen können. Dieses Ungleichgewicht stellt ein grundlegendes Problem dar: Selbst die leistungsstärksten Computersysteme können nur so schnell arbeiten, wie sie auf ihre Daten zugreifen können.
Herkömmliche Storage-Lösungen, die ursprünglich für vorhersehbare Workloads entwickelt wurden, haben oft mit mehreren kritischen Aspekten moderner HPC-Anforderungen zu kämpfen:
- Massive Parallelität: HPC-Workloads umfassen häufig Tausende paralleler Prozesse, die gleichzeitigen Zugriff auf Daten erfordern.
- MetadataPerformance: Neben dem Rohdurchsatz ist die Fähigkeit, Milliarden von Metadaten zu bewältigen, von entscheidender Bedeutung.
- Skalierbarkeit: Wenn Datensätze auf Petabyte- und Exabyte-Niveau wachsen, müssen Storage-Systeme sowohl Kapazität als auch Performance linear skalieren.
- Energieeffizienz: Die Rechendichte moderner HPC-Cluster erfordert Storage-Lösungen, die den Stromverbrauch und den Kühlungsbedarf minimieren.
Laut den jüngsten Erkenntnissen von Intersect360 Research stellen diese Engpässe einige der dringendsten Probleme dar, mit denen die HPC-AI-Branche heute konfrontiert ist. Unternehmen stellen zunehmend fest, dass ihre teuren GPU-Ressourcen stillstehen und darauf warten, dass Daten verarbeitet werden.
Der Ansatz von Pure Storage für HPC Storage
Bei Pure Storage haben wir die Storage-Architektur von Grund auf neu konzipiert, um diese grundlegenden HPC-Herausforderungen zu bewältigen. Anstatt herkömmliche Designs anzupassen, haben wir eine Plattform entwickelt, die speziell für moderne datenintensive Workloads entwickelt wurde.
Unser Ansatz konzentriert sich auf drei Kernprinzipien:
- Massiv parallele Architektur: Wie bei HPC selbst muss Storage auf hochgradig parallele Weise arbeiten, um maximalen Durchsatz zu erreichen.
- Flash-natives Design: DirectFlash®-Technologie ermöglicht es uns, Flash-NAND nativ zu verwalten, anstatt das Festplattenverhalten nachzuahmen, was die Performance, Zuverlässigkeit und Effizienz drastisch verbessert.
- Vereinfachtes Management: HPC-Umgebungen sind komplex genug, ohne dass Storage-Management-Overhead hinzugefügt wird.
Diese Philosophie hat in unserer neuesten Innovation ihren Höhepunkt erreicht, die speziell für die anspruchsvollsten HPC- und AIWorkloads entwickelt wurde.
Wir stellen vor: FlashBlade//EXA: Neudefinition der Performance im großen Maßstab
Wir sind stolz darauf, FlashBlade//EXA™ vorzustellen, die leistungsstärkste Daten-Storage-Plattform der Branche, die für AIFabriken und HPC-Umgebungen entwickelt wurde, indem sie einen extremen Durchsatz in beispiellosem Umfang bietet. Diese bahnbrechende Lösung bewältigt die grundlegenden Herausforderungen, die HPC-Storage bisher eingeschränkt haben.
FlashBlade//EXA stellt einen Paradigmenwechsel in der Storage-Architektur mit mehreren revolutionären Funktionen dar:
- Beispiellose Performance: Die Plattform bietet in diesem Sommer eine Lesegeschwindigkeit von mehr als 10TB/s und Schreib-Performance von bis zu 50 % der Lesevorgänge bei allgemeiner Verfügbarkeit.
- Disaggregierte Architektur: Unabhängige Skalierung von Daten- und Metadaten beseitigt herkömmliche Engpässe.
- Massiv verteilte Metadaten: Unser bewährter Metadaten kann Milliarden von Vorgängen und mehr als das 20-Fache der Dateisysteme in einem einzigen Namespace im Vergleich zu Alternativen unterstützen.
- Integration nach Branchenstandard: Durch die Nutzung gängiger Protokolle und handelsüblicher Hardware für die Datenebene wird eine nahtlose Integration in bestehende Umgebungen sichergestellt.
Rob Lee, Chief Technology Officer bei Pure Storage, erklärt: „FlashBlade//EXA bietet eine massiv parallele Architektur, die eine unabhängige Skalierung von Daten und Metadaten ermöglicht, um Kunden eine unübertroffene Performance, Skalierbarkeit und Anpassungsfähigkeit für einige der größten und anspruchsvollsten Datenumgebungen der Welt zu bieten. Storage beschleunigt jetzt die Entwicklung von HPC und AI im großen Maßstab.“
Auswirkungen in der Praxis: Pure Storage und CERN Partnerschaft
Der wahre Test jeder Technologie ist ihre reale Anwendung. Deshalb freuen wir uns besonders über unsere kürzlich angekündigte Partnerschaft mit CERN openlab, dem European Laboratory for Particle Physics, um die Entwicklung modernster IKT-Lösungen für den Large Hadron Collider zu beschleunigen.
CERN generiert durch seine energiegeladenen Physikexperimente riesige Datenmengen, die effektiv aufgezeichnet, gespeichert und analysiert werden müssen, um unser Verständnis des Universums zu verbessern. Herkömmliche Storage-Lösungen sind zu erheblichen Engpässen für ihre Hochleistungs-Computing-Anforderungen geworden.
Durch diese mehrjährige Vereinbarung werden Pure Storage und CERN openlab:
- Erfahren Sie, wie DirectFlash-Technologie die Anforderungen zukünftiger wissenschaftlicher Forschung unterstützen kann
- Optimierung der Flash-Infrastruktur im Exabyte-Bereich für Grid-Computing und HPC-Workloads
- Identifizieren Sie Möglichkeiten, die Performance sowohl in Software als auch in Hardware zu maximieren und gleichzeitig die Energieeffizienz zu verbessern
„Zusammen mit CERN openlab erweitern wir die Grenzen dessen, was in HPC- und Grid-Computing-Umgebungen möglich ist, und unterstützen modernste wissenschaftliche Workflows“, so Lee. „Mit der Integration unserer hochmodernen Technologie in das große verteilte Storage-System von CERN ist CERN openlab bereit, die beispiellosen Datenmengen mit beispielloser Geschwindigkeit und Zuverlässigkeit anzugehen und Forscher gleichzeitig für die außergewöhnlichen Herausforderungen zu befähigen, die sich aus der High-Luminosity-Ära mit großem Hadron Collider (HL-LHC) ergeben.“
Luca Mascetti, Storage CTO bei CERN openlab, fügt hinzu: „Wir gehen davon aus, dass diese Partnerschaft einige wichtige Erfolge bringen wird, wenn wir auf die Zukunft der Speicherung von Daten aus wissenschaftlichen Experimenten blicken. Erstens erwarten wir, diese Technologie in unser großes verteiltes Storage-System zu integrieren und Daten effektiver bereitzustellen, was eine Möglichkeit bietet, die Storage-Performance über das hinaus zu skalieren, was heute möglich ist. Zweitens hoffen wir, die nächste Generation von Durchbrüchen in der High-Energy-Physik auf der CERN freizusetzen und der breiteren wissenschaftlichen Gemeinschaft das Potenzial zur Verbesserung von Storage-Funktionen aufzuzeigen, was letztendlich das Tempo der Entdeckung und Innovation in Forschungseinrichtungen weltweit beschleunigt.“
Das größere Bild: Bewältigung branchenweiter HPC-Herausforderungen
Neben der rohen Performance bewältigt unser Ansatz 2025 mehrere kritische Herausforderungen in der HPC-Branche:
Resilienz der Lieferkette
Die globale HPC-Landschaft steht nach wie vor vor vor erheblichen Herausforderungen in der Lieferkette, mit Vorlaufzeiten für High-End-GPU-Server und -Komponenten von 6 bis 12 Monaten. Durch die Unterstützung von Standardservern für die Datenebene bietet FlashBlade//EXA eine größere Flexibilität bei der Infrastrukturplanung und -bereitstellung.
Energieeffizienz
Mit zunehmendem Wachstum von HPC-Implementierungen werden Stromverbrauch und Kühlungsanforderungen immer problematischer. Die beeindruckende Performance-Dichte von 3,4 TB/Sek. pro Rack von FlashBlade//EXA trägt dazu bei, die ständig wachsenden Strom- und Kühlungskosten im Zusammenhang mit energiehungrigen GPU-Umgebungen zu optimieren.
Vereinfachtes Management
Der Mangel an qualifiziertem Personal in den Bereichen Rechenwissenschaften und HPC-AI-Systemmanagement stellt eine erhebliche Herausforderung für die Branche dar. Unser Fokus auf vereinfachtes Management reduziert den betrieblichen Mehraufwand und ermöglicht es Unternehmen, Hochleistungs-Storage ohne spezialisiertes Fachwissen bereitzustellen und zu verwalten.
Beschleunigung von Innovationen in allen Branchen
Die Auswirkungen fortschrittlicher Storage-Technologie gehen über herkömmliche HPC-Umgebungen hinaus. Wir haben in verschiedenen Branchen bemerkenswerte Ergebnisse erzielt.
In der Genomforschung nutzte die Universität Helsinki FlashBlade®, um ihre Arbeit am Birch Genome Project erheblich zu beschleunigen. „Es war wichtig, dass wir die Dinge parallel erledigen, und der Wechsel zu FlashBlade hat es uns ermöglicht, den Prozess erheblich zu beschleunigen“, sagte Projektleiter Professor Jarkko Salojarvi. FlashBlade ermöglichte es ihnen, bis zu vier Jobs parallel auszuführen, und das Team übertraf in nur 18 Monaten die halbe Strecke des Projekts und fertigte mehr als 550 Genom-Baugruppen im Vergleich zu weniger als 100 im selben Zeitrahmen mit sequenzieller Verarbeitung ab.
Bei der großen AI haben sich Unternehmen auf FlashBlade verlassen, um ihre AI-Workloads effizient zu skalieren. Mit zunehmender Größe und Komplexität von AI-Modellen wird die Storage-Infrastruktur für erfolgreiche Ergebnisse immer wichtiger.
Der Weg nach vorn: Storage als Katalysator für die Entdeckung
Wie bereits erwähnt, können selbst die leistungsstärksten Computersysteme nur so schnell arbeiten, wie sie auf ihre Daten zugreifen können. Damit HPC seinem Namen gerecht wird, wird Storage-Technologie eine immer wichtigere Rolle spielen. Die herkömmliche Ansicht von Storage als passives Repository weicht einem neuen Verständnis: Storage als aktiver Beschleuniger von Rechen-Workloads.
Durch das Beseitigen von Engpässen beim Datenzugriff unterstützen Lösungen wie FlashBlade//EXA nicht nur HPC-Workloads, sondern verändern grundlegend das, was möglich ist. Forscher können mit größeren Datensätzen arbeiten, komplexere Simulationen durchführen und schneller iterieren, was letztendlich das Entdeckungstempo beschleunigt.
Die Vision von Pure Storage für HPC-Storage kombiniert beispiellose Performance mit radikaler Einfachheit. Wir glauben, dass wir durch die Beseitigung von Storage-Engpässen und -Komplexität dazu beitragen können, die nächste Generation wissenschaftlicher und technologischer Durchbrüche zu erschließen.
In einer Welt, in der die Rechenleistung weiterhin exponentiell wächst, ist eine Storage-Infrastruktur, die Schritt halten kann, nicht nur ein Vorteil, sondern eine Notwendigkeit. Die Zukunft von HPC hängt davon ab.
FlashBlade//EXA
Experience the World’s Most Powerful Data Storage Platform for AI
Power the Future
Learn more about the most powerful data storage platform ever, built for AI.
