Warum Storage der unerreichte Held für AI ist

Im Wettlauf um künstliche allgemeine Intelligenz (AGI) setzt die Storage-Technologie neue Maßstäbe. Während Algorithmen und Rechenleistung im Mittelpunkt stehen, unterstützt Storage AI-Durchbrüche. Während der Flash-Revolution stagnierten 15K0 Festplatten, da sich die Rechenleistung alle zwei Jahre verdoppelte, aber Flash-fähige Virtualisierung und heute GPU-gesteuerte Workloads treiben neben den Anforderungen an Effizienz, Nachhaltigkeit und Zuverlässigkeit weitere Storage-Innovationen voran.

Frühe AIBemühungen waren durch algorithmische Komplexität und Datenknappheit begrenzt, aber als Algorithmen weiterentwickelt wurden, traten Speicher- und Storage-Engpässe auf. Hochleistungs-Storage ermöglichte bahnbrechende Entwicklungen wie ImageNet, das Visionsmodelle unterstützte, und GPT-3, das Petabyte an Storage benötigte. Da täglich 400 Millionen Terabyte an Daten generiert werden, muss Storage Workloads im Exabyte-Bereich mit einer Latenz von weniger als Millisekunden verwalten, um AGI und maschinelles Quantenlernen zu unterstützen. Im Laufe der AI stellte jede Innovationswelle neue Anforderungen an Storage und trieb die Fortschritte bei Kapazität, Geschwindigkeit und Skalierbarkeit voran, um immer komplexere Modelle und größere Datensätze aufzunehmen.

• Klassisches maschinelles Lernen (1980s-2015): Spracherkennung und überwachte Lernmodelle führten zu einem Wachstum von Datensätzen von Megabyte auf Gigabyte, was den Datenabruf und die Organisation immer wichtiger machte.
• Deep-Learning-Revolution (2012-2017): Modelle wie AlexNet und ResNet haben die Storage-Anforderungen gesteigert, während Word2Vec und GloVe die Verarbeitung natürlicher Sprache vorangetrieben haben und zu Hochgeschwindigkeits-NVMe-Storage für Datensätze im Terabyte-Bereich wechselten.
• Grundlagenmodelle (2018–heute): BERT führte Datensätze im Petabyte-Bereich ein, wobei GPT-3 und Llama 3 skalierbare Systeme mit niedriger Latenz wie Meta Tectonic erfordern, um Billionen von Tokens zu verarbeiten und einen Durchsatz von 7TB/s aufrechtzuerhalten.
• Chinchilla-Skalierungsgesetze (2022): Chinchilla betonte wachsende Datensätze gegenüber der LLM-Modellgröße und benötigte Parallelzugriffs-Storage, um die Performance zu optimieren.

Storage unterstützt nicht nur AI, sondern ist führend und prägt die Zukunft der Innovation, indem es die ständig wachsenden Daten der Welt effizient und skalierbar verwaltet. KIAIAnwendungen im autonomen Fahren sind beispielsweise auf Storage-Plattformen angewiesen, die in der Lage sind, Petabyte an Sensordaten in Echtzeit zu verarbeiten, während die Genomforschung einen schnellen Zugriff auf riesige Datensätze erfordert, um Entdeckungen zu beschleunigen. Da AI die Grenzen des Datenmanagements immer weiter ausreizt, stehen herkömmliche Storage-Systeme vor wachsenden Herausforderungen, um mit diesen sich weiterentwickelnden Anforderungen Schritt zu halten, was die Notwendigkeit speziell entwickelter Lösungen unterstreicht.

Wie AI-Workloads herkömmliche Storage-Systeme behindern

Datenkonsolidierung und Volume-Management

AIAnwendungen verwalten Datensätze im Bereich von Terabytes bis hin zu Hunderten von Petabytes und übertreffen damit bei weitem die Funktionen herkömmlicher Storage-Systeme wie NAS, SAN und herkömmlichem Direct-Attached-Storage. Diese Systeme, die für präzise, transaktionale Workloads wie das Erstellen von Berichten oder das Abrufen bestimmter Datensätze entwickelt wurden, kämpfen mit den aggregationsintensiven Anforderungen der Datenwissenschaft und den umfassenden Hochgeschwindigkeitszugriffsmustern von AI/ML-Workloads. Modellschulungen, die einen massiven Batch-Datenabruf über ganze Datensätze hinweg erfordern, unterstreichen diese Fehlausrichtung. Die starren Architekturen, Kapazitätsbeschränkungen und der unzureichende Durchsatz einer herkömmlichen Infrastruktur machen sie für die Skalierbarkeit und Geschwindigkeit von AI ungeeignet und unterstreichen die Notwendigkeit speziell entwickelter Storage-Plattformen.

Performance-Engpässe für schnellen Datenzugriff

Echtzeitanalysen und Entscheidungsfindung sind für AI-Workloads unerlässlich, aber herkömmliche Storage-Architekturen verursachen oft Engpässe mit unzureichenden IOPS, da sie für moderate Transaktionsaufgaben und nicht für die intensiven, parallelen Lese-/Schreibanforderungen von AI entwickelt wurden. Darüber hinaus verzögert eine hohe Latenz von rotierenden Festplatten oder veralteten Caching-Mechanismen den Datenzugriff, verlängert die Zeit bis zum Einblick und reduziert die Effizienz von AIProzessen.

Umgang mit unterschiedlichen Datentypen und Workloads

AISysteme verarbeiten sowohl strukturierte als auch unstrukturierte Daten – einschließlich Text, Bilder, Audio und Video –, aber herkömmliche Storage-Lösungen haben mit dieser Vielfalt zu kämpfen. Sie sind oft für strukturierte Daten optimiert, was zu einem langsamen Abruf und einer ineffizienten Verarbeitung unstrukturierter Formate führt. Darüber hinaus erschweren eine schlechte Indexierung und ein schlechtes Metadaten die effektive Organisation und Suche verschiedener Datensätze. Herkömmliche Systeme sehen sich auch mit Performance-Problemen bei kleinen Dateien konfrontiert, wie sie in Trainingssprachenmodellen üblich sind, da ein hoher Metadaten-Overhead zu Verzögerungen und längeren Verarbeitungszeiten führt.

Einschränkungen bei veralteten Architekturen

Der kumulative Effekt dieser Herausforderungen besteht darin, dass herkömmliche Storage-Architekturen nicht mit den Anforderungen moderner AIWorkloads Schritt halten können. Sie verfügen nicht über die Agilität, Performance und Skalierbarkeit, die erforderlich sind, um die vielfältigen und hochvolumigen Datenanforderungen von AI zu unterstützen. Diese Einschränkungen unterstreichen die Notwendigkeit fortschrittlicher Storage-Lösungen, die darauf ausgelegt sind, die einzigartigen Herausforderungen von AI-Anwendungen zu bewältigen, wie z. B. schnelle Skalierbarkeit, hoher Durchsatz, geringe Latenz und vielfältige Datenverarbeitung. 

Wichtige Storage-Herausforderungen in der AI

AIWorkloads stellen besondere Anforderungen an Storage-Systeme, und die Bewältigung dieser Herausforderungen erfordert erweiterte Funktionen in den folgenden Bereichen:

• Einheitliche Datenkonsolidierung: Datensilos fragmentieren wertvolle Informationen und erfordern eine Konsolidierung in einer einheitlichen Plattform, die verschiedene AIWorkloads für eine nahtlose Verarbeitung und Schulung unterstützt.
• Skalierbare Performance und Kapazität: Eine robuste Storage-Plattform muss verschiedene I/O-Profile verwalten und von Terabytes bis Exabytes skalieren, um einen Zugriff mit niedriger Latenz und hohem Durchsatz zu gewährleisten. Durch die unterbrechungsfreie Skalierung ermöglicht die Plattform eine nahtlose Erweiterung von AI-Workloads, wenn die Datenanforderungen wachsen, und sorgt so für einen reibungslosen und ununterbrochenen Betrieb.
• Scale-up- und Scale-out-Flexibilität: Für den Transaktionszugriff mit niedriger Latenz für Vektordatenbanken und Workloads mit hoher Parallelität für Training und Inferenz ist eine Plattform erforderlich, die beide Funktionen bietet.
• Zuverlässigkeit und kontinuierliche Betriebszeit: Da AI für Unternehmen entscheidend wird, ist eine Verfügbarkeit von 99,9999 % unerlässlich. Eine Storage-Plattform muss unterbrechungsfreie Upgrades und Hardwareaktualisierungen unterstützen und so einen unterbrechungsfreien Betrieb ohne Ausfallzeiten für Endbenutzer sicherstellen.

Optimierung von Storage in der gesamten AIPipeline

Effektive Storage-Lösungen sind in jeder Phase der AI-Pipeline von entscheidender Bedeutung, von der Datenkuration bis hin zum Training und der Inferenz, da sie es AIWorkloads ermöglichen, effizient und skalierbar zu arbeiten. AI-Pipelines benötigen Storage, der latenzempfindliche Aufgaben nahtlos bewältigen, skalieren kann, um hohe Parallelitätsanforderungen zu erfüllen, verschiedene Datentypen unterstützen und die Performance in verteilten Umgebungen aufrechterhalten kann.

Abbildung 1: Storage-Muster für AI sind vielfältig und erfordern eine Plattform, die für mehrdimensionale Performance entwickelt wurde.

In der Datenkurationsphase beginnt die Verwaltung von Datensätzen im Petabyte- bis Exabyte-Bereich mit der Aufnahme, bei der Storage nahtlos skaliert werden muss, um riesige Datenmengen zu verarbeiten und gleichzeitig einen hohen Durchsatz zu gewährleisten. Echtzeitanwendungen wie autonomes Fahren erfordern Storage mit niedriger Latenz, der in der Lage ist, eingehende Daten sofort zu verarbeiten. DirectFlash®-Module (DFMs) zeichnen sich in diesen Szenarien durch die Umgehung herkömmlicher SSD-Architekturen aus, um direkt auf NAND-Flash zuzugreifen, und bieten eine schnellere, konsistentere Performance bei erheblich reduzierter Latenz. Im Vergleich zu herkömmlichen SSDs und SCM bieten DFMs auch eine höhere Energieeffizienz, sodass Unternehmen die Anforderungen großer AI-Workloads erfüllen und gleichzeitig den Stromverbrauch optimieren und bei hoher Parallelität eine vorhersehbare Performance aufrechterhalten können.

Während der Persistenz müssen Daten-Storage-Lösungen eine langfristige Aufbewahrung und schnellen Zugriff auf häufig aufgerufene Daten unterstützen. Der Verarbeitungsschritt ist der Schlüssel zur Vorbereitung von Daten für das Training, bei dem Storage eine Reihe von Datentypen und -größen effizient verwalten und strukturierte und unstrukturierte Daten in Formaten wie NFS, SMB und Objekt verarbeiten muss.

In der AITrainings- und Inferenzphase erzeugt das Modelltraining intensive Lese-/Schreibanforderungen, die Scale-out-Architekturen erfordern, um die Performance über mehrere Knoten hinweg sicherzustellen. Effiziente Checkpointing- und Versionskontrollsysteme sind in dieser Phase entscheidend, um Datenverluste zu vermeiden. Zusätzlich zum Checkpointing stellen neue Architekturen wie die abfrageaugmentierte Generation (RAG) einzigartige Herausforderungen für Storage-Systeme dar. RAG verlässt sich auf den effizienten Abruf externer Wissensdatenbanken während der Inferenz und fordert Storage mit niedriger Latenz und hohem Durchsatz, der in der Lage ist, gleichzeitige, parallele Abfragen zu verarbeiten. Dies setzt das Metadaten und die skalierbare Indexierung zusätzlich unter Druck und erfordert fortschrittliche Storage-Architekturen, um die Performance ohne Engpässe zu optimieren.

Durch die Abstimmung von Storage-Lösungen mit den spezifischen Anforderungen jeder Pipeline-Phase können Unternehmen die AI-Performance optimieren und die Flexibilität beibehalten, die erforderlich ist, um sich weiterentwickelnde AI-Anforderungen zu unterstützen.

Einführung der Datenstream-Lösung

Um den anhaltenden Engpass bei der Vorbereitung von Rohdaten für AI-Workflows zu bewältigen, hat Pure Storage kürzlichData Stream eingeführt – einen GPU-zentrierten, integrierten Hardware- und Software-Stack, der speziell für AIDatenbereitschaft entwickelt wurde. 

Im Gegensatz zu herkömmlichen Storage-Systemen, die einfach Daten speichern, automatisiert Data Stream aktiv die Aufnahme, Transformation und Optimierung. Sie verwandelt dann unstrukturierte Assets (Dokumente, Bilder, Tabellen) in AI-fähige Vektoren und Metadaten in großem Maßstab. 

Der Datenstream nimmt riesige Datenmengen aus Multiprotokollquellen (NFS, SMB, S3) auf, führt semantisches „Chunking“ (z. B. Sätze, Absätze) durch, um den Kontext zu erhalten, und bereichert und liefert dann die Ausgabe in Formaten, die für Vektordatenbanken und GPU-Inferenzpipelines optimiert sind.

Durch die Einbettung dieser Verarbeitung in die Storage-Ebene selbst schließt der Data Stream die Lücke zwischen Rohdatenträgheit und KI-AI Inferenz in Echtzeit und ermöglicht es Unternehmen, monatelange Datenvorbereitungen in Minuten zu reduzieren. Auf diese Weise können Sie sicherstellen, dass ihre GPUs gefüttert bleiben, ihre Modelle frisch bleiben und ihre Inferenzpipelines ununterbrochen laufen.

Fazit

Storage ist das Rückgrat der AI, wobei die zunehmende Modellkomplexität und Datenintensität die exponentiellen Anforderungen an die Infrastruktur steigen lassen. Herkömmliche Storage-Architekturen können diese Anforderungen nicht erfüllen, weshalb die Einführung agiler, leistungsstarker Storage-Lösungen unerlässlich ist.

Die symbiotische Beziehung zwischen AI- und Storage-Plattformen führt zu Fortschritten bei Storage, die nicht nur den AIFortschritt unterstützen, sondern auch beschleunigen. Für Unternehmen, die gerade erst damit beginnen, AI zu erkunden, ist Flexibilität entscheidend: Sie benötigen Storage, der mit wachsenden Daten- und Rechenanforderungen skaliert werden kann, der mehrere Formate (z. B. Datei, Objekt) unterstützt und sich leicht in vorhandene Tools integrieren lässt.

Unternehmen, die in moderne Storage-Plattformen investieren, positionieren sich an der Spitze der Innovation. Dies erfordert:

• Bewertung der Infrastruktur: Ermitteln Sie aktuelle Einschränkungen und Bereiche, in denen sofortige Verbesserungen möglich sind.
• Einführung skalierbarer Lösungen: Implementieren Sie Plattformen, die Flexibilität, hohe Performance und nahtloses Wachstum bieten.
• Planung für zukünftige Anforderungen: Bleiben Sie neuen Trends voraus, um sicherzustellen, dass sich die Plattform mit KIAIEntwicklungen weiterentwickelt.

Indem Storage-Plattformen als Kernkomponente der AI-Strategie priorisiert werden, können Unternehmen neue Möglichkeiten erschließen, kontinuierliche Innovationen vorantreiben und einen Wettbewerbsvorteil in der datengesteuerten Zukunft erhalten.

Möchten Sie mehr erfahren?

Besuchen Sie die Seite „AILösungen“

Laden Sie das Whitepaper herunter: „Die Pure Storage-Plattform für AI“

Pure Storage Business White Paper

Pure Storage
Plattform für AI beschleunigt
und vereinfacht KIAIImplementierungen

White Paper lesen