{"id":165629,"date":"2025-06-03T13:04:52","date_gmt":"2025-06-03T20:04:52","guid":{"rendered":"https:\/\/blog.everpuredata.com\/?p=165629"},"modified":"2025-06-25T09:08:24","modified_gmt":"2025-06-25T16:08:24","slug":"pure-storage-flashblade-and-pytorch-asynchronous-checkpointing","status":"publish","type":"post","link":"https:\/\/blog.everpuredata.com\/de\/purely-technical\/pure-storage-flashblade-and-pytorch-asynchronous-checkpointing\/","title":{"rendered":"Pure Storage FlashBlade und PyTorch Asynchrones Checkpointing: Beschleunigung von Schulungen f\u00fcr gro\u00dfe AIModelle"},"content":{"rendered":"\n
\n
\n
\n

Zusammenfassung<\/h3>\n\n\n\n

The combination of PyTorch asynchronous checkpointing and FlashBlade cuts checkpoint overhead by 10 times or more and delivers consistent, low-latency performance at scale, keeping expensive GPUs busy and training workflows uninterrupted.<\/p>\n<\/div>\n\n\n\n

\"image_pdf\"<\/a>\"image_print\"<\/a><\/div>\n<\/div>\n\n\n\n
\n

Das Training gro\u00dfer AI-Modelle bringt Kompromisse mit sich, und einer der wichtigsten Punkte ist es, das richtige Gleichgewicht zwischen Performance und Resilienz zu finden. Checkpointing ist f\u00fcr die Fehlertoleranz unerl\u00e4sslich, aber der herk\u00f6mmliche synchrone Ansatz zwingt das Training, zu pausieren, w\u00e4hrend der Modellstatus gespeichert wird. Bei Modellen mit Milliarden Parametern und h\u00f6her k\u00f6nnen sich diese Pausen in Minuten erstrecken, was die Entwickleriteration verlangsamt und teure GPUs im Leerlauf l\u00e4sst, wenn sie trainieren sollten.<\/p>\n\n\n\n

Asynchrones Checkpointing bietet eine intelligentere Alternative. Indem der Checkpoint-Prozess vom kritischen Trainingspfad entkoppelt wird, kann das Checkpointing im Hintergrund erfolgen, teure GPUs ausgelastet bleiben und Trainingsworkflows ununterbrochen erfolgen. In Kombination mit der Scale-out-Architektur mit hohem Durchsatz von Pure Storage\u00ae FlashBlade<\/a>\u00ae fallen die Checkpoint-Overheads erheblich \u2013 oft um 90 % oder mehr \u2013, ohne die Zuverl\u00e4ssigkeit zu beeintr\u00e4chtigen. Es ist eine praktische M\u00f6glichkeit, die Trainingsdynamik im gro\u00dfen Ma\u00dfstab aufrechtzuerhalten.<\/p>\n\n\n\n

Asynchrones PyTorch-Checkpointing<\/strong><\/h2>\n\n\n\n

PyTorchs verteiltes asynchrones Checkpointing f\u00fchrt zu einer gro\u00dfen Ver\u00e4nderung bei der Handhabung eines Modellzustands. Anstatt das Training zum Ausschreiben von Kontrollpunkten zu unterbrechen, erm\u00f6glicht es das Speichern des Hintergrunds, w\u00e4hrend die Berechnung fortgesetzt wird. Dadurch wird nicht nur die ungenutzte GPU-Zeit reduziert, sondern jeder Trainingsprozess kann seine Checkpoint-Daten auch unabh\u00e4ngig schreiben, I\/O \u00fcber Knoten verteilen und den Druck auf gemeinsam genutzte Storage-Systeme verringern.<\/p>\n\n\n\n

Das Ergebnis sind schnellere Trainingszyklen, eine bessere Ressourcenauslastung und eine reibungslosere Skalierung f\u00fcr gro\u00dfe Workloads. H\u00e4ufiges Checkpointing ist eine bew\u00e4hrte Praxis f\u00fcr die Fehlerbehebung und Experimente, aber herk\u00f6mmliche Methoden machen es zu kostspielig. Durch die Asynchronisierung des Checkpointing \u00e4ndert sich die Gleichung, sodass Teams den Status so oft wie n\u00f6tig speichern k\u00f6nnen, ohne den Trainingsfluss zu unterbrechen.<\/p>\n\n\n\n

\"Checkpoint-Zeiten<\/figure>\n\n\n\n

Wichtige Mechanismen<\/strong><\/h2>\n\n\n\n

Asynchrones Checkpointing unterteilt den herk\u00f6mmlichen All-at-Once-Speicherprozess in zwei koordinierte Schritte:<\/p>\n\n\n\n

    \n
  1. GPU-zu-CPU-\u00dcbertragung:<\/strong> Der Modellstatus wird schnell vom GPU-Speicher in den CPU-Speicher verschoben, sodass das Training ohne Verz\u00f6gerung fortgesetzt werden kann.<\/li>\n\n\n\n
  2. Asynchrone Persistenz: <\/strong>Sobald sich die Daten auf der CPU befinden, k\u00f6nnen dedizierte Threads sie auf der Festplatte speichern, sodass sich die GPUs nicht auf das Training konzentrieren k\u00f6nnen.\u00a0<\/li>\n<\/ol>\n\n\n\n

    Unter der Abzugshaube verwendet PyTorch separate Prozessgruppen, um Checkpointing zu verwalten, sodass es keine laufenden verteilten Trainingsaufgaben beeintr\u00e4chtigt.<\/p>\n\n\n\n

    Stellen Sie sich das wie einen Formel-1-Boxenstopp vor: Ihre teure GPU ist der Rennwagen, der f\u00fcr Geschwindigkeit optimiert ist, w\u00e4hrend die CPU die Boxenmannschaft ist, die f\u00fcr die schnelle Wartung entwickelt wurde. Sie m\u00f6chten nicht, dass Ihre GPU-Engine im Wert von 40.000 US-Dollar im Leerlauf ist, w\u00e4hrend Sie Daten auf der Festplatte speichern. Dieses Design h\u00e4lt das Auto auf dem richtigen Weg, w\u00e4hrend sich die Crew um das Gesch\u00e4ft k\u00fcmmert.\u00a0<\/p>\n\n\n\n

    In der Praxis bedeutet dies, dass AI-Teams nicht mehr zwischen Performance und Resilienz w\u00e4hlen m\u00fcssen. Genau wie im Rennsport, bei dem Geschwindigkeit und Wartung mit der richtigen Boxenstrategie koexistieren k\u00f6nnen, erm\u00f6glicht asynchrones Checkpointing das Modelltraining, w\u00e4hrend die Zustandseinsparung im Hintergrund erfolgt.\u00a0<\/p>\n\n\n\n

    Vorteile der Implementierung<\/strong><\/h2>\n\n\n\n

    Minimale Trainingsunterbrechung<\/strong><\/h4>\n\n\n\n

    Das Training pausiert nur kurz, um den Modellstatus von GPU auf CPU-Speicher zu \u00fcbertragen. Das bedeutet, dass AI-Praktiker w\u00e4hrend langer Trainingsl\u00e4ufe an Schwung halten k\u00f6nnen, ohne wertvolle GPU-Zyklen zu verlieren, die besonders wichtig f\u00fcr die zeitkritische Modellentwicklung oder iterative Experimente sind.<\/p>\n\n\n\n

    Erh\u00f6hte Checkpoint-H\u00e4ufigkeit<\/strong><\/h4>\n\n\n\n

    Da Checkpointing nicht mehr die gesamte Trainings-Pipeline behindert, k\u00f6nnen Teams den Modellstatus h\u00e4ufiger speichern. F\u00fcr \u00c4rzte \u00f6ffnet dies die T\u00fcr zu schnellerer Iteration, einfacherem Experimentieren und einem besseren Schutz vor seltenen, aber kostspieligen Trainingsausf\u00e4llen wie Knotenabst\u00fcrzen oder Out-of-Memory-Fehlern.<\/p>\n\n\n\n

    Verbesserte Fehlertoleranz<\/strong><\/h4>\n\n\n\n

    H\u00e4ufigere Kontrollpunkte verk\u00fcrzen die Wiederherstellungszeit, wenn ein Job ausf\u00e4llt. F\u00fcr Infrastrukturleiter bedeutet dies schnellere Neustarts von Auftr\u00e4gen, weniger verlorene Rechenstunden und eine bessere Vorhersehbarkeit auf Serviceebene \u00fcber gemeinsame Cluster hinweg. Au\u00dferdem wird die Notwendigkeit einer zu konservativen Auftragsplanung reduziert, wodurch Kapazit\u00e4t f\u00fcr aktivere Workloads frei wird.<\/p>\n\n\n\n

    Bessere Ressourcenauslastung<\/strong><\/h4>\n\n\n\n

    GPUs arbeiten weiter, w\u00e4hrend CPU-Threads Festplatten-Schreibvorg\u00e4nge verarbeiten. Dadurch wird eine maximale Rendite auf GPUGPUInvestitionen sichergestellt, indem die Rechenauslastung hoch gehalten und unn\u00f6tige I\/O-Konflikte auf gemeinsam genutzten Storage-Systemen vermieden werden. F\u00fcr Storage-Administratoren und Infrastruktur-VPs bedeutet dies weniger Druck auf IOPS, ein besser vorhersehbares I\/O-Verhalten und weniger Engp\u00e4sse, die andere Benutzer im System betreffen k\u00f6nnen.<\/p>\n\n\n\n

    Pure Storage FlashBlade: Performance steigern<\/strong><\/h2>\n\n\n\n

    W\u00e4hrend das asynchrone Checkpointing von PyTorch Trainingsunterbrechungen erheblich reduziert, bestimmt die Storage-Infrastruktur, wie weit diese Gewinne gehen k\u00f6nnen. In AI-Umgebungen mit hohem Durchsatz und mehreren Knoten ist Pure Storage FlashBlade einzigartig geeignet, um den Wert von asynchronem Checkpointing zu maximieren.<\/p>\n\n\n\n

    Entwickelt f\u00fcr schnelle Metadata und hohen Durchsatz<\/strong><\/h4>\n\n\n\n

    W\u00e4hrend asynchrones Checkpointing die Unterbrechung des Trainings von selbst reduzieren kann, sch\u00f6pft FlashBlade sein volles Potenzial aus. Seine Architektur bew\u00e4ltigt die Metadaten-lastigen Vorg\u00e4nge von gro\u00df angelegtem Training mit konstant geringer Latenz, selbst bei intensiven Schreib-Bursts.<\/p>\n\n\n\n

    Dies bedeutet:<\/p>\n\n\n\n