Point de contrôle asynchrone FlashBlade et PyTorch de Pure Storage : Accélérer l’entraînement pour les grands modèles dAI

L’entraînement de grands modèles d’AI se traduit par des compromis, et l’un des plus importants est de trouver le bon équilibre entre performance et résilience. Le point de contrôle est essentiel pour la tolérance aux pannes, mais l’approche synchrone traditionnelle oblige l’entraînement à s’arrêter pendant que l’état du modèle est enregistré. Pour les modèles de plusieurs milliards de paramètres, ces pauses peuvent prendre quelques minutes, ralentissant l’itération des développeurs et laissant les GPU coûteux inactifs au moment de l’entraînement.

Le point de contrôle asynchrone offre une alternative plus intelligente. En découplant le processus de point de contrôle du parcours d’entraînement critique, il permet d’effectuer des points de contrôle en arrière-plan, de maintenir les GPU coûteux occupés et d’entraîner les flux de travail sans interruption. Associée à l’architecture scale-out haut débit de Pure Storage® FlashBlade®, la surcharge des points de contrôle chute considérablement, souvent de 90 % ou plus, sans compromettre la fiabilité. C’est un moyen pratique de maintenir la dynamique de l’entraînement à grande échelle.

Point de contrôle asynchrone PyTorch

Le point de contrôle asynchrone distribué de PyTorch introduit un changement majeur dans la manière dont l’état d’un modèle est géré. Au lieu d’interrompre l’entraînement pour écrire les points de contrôle, il permet d’économiser l’arrière-plan pendant que le calcul se poursuit. Cela permet non seulement de réduire le temps d’inactivité du GPU, mais également à chaque processus d’entraînement d’écrire ses données de point de contrôle indépendamment, de répartir les I/O entre les nœuds et de réduire la pression sur les systèmes de stockage partagés.

Résultat : des cycles d’entraînement plus rapides, une meilleure utilisation des ressources et une évolutivité plus fluide pour les charges de travail volumineuses. Les points de contrôle fréquents sont une bonne pratique pour la reprise après panne et l’expérimentation, mais les méthodes traditionnelles les rendent trop coûteuses. Le checkpointing asynchrone modifie l’équation, ce qui permet aux équipes de sauvegarder l’état aussi souvent qu’elles en ont besoin, sans interrompre le flux d’entraînement.

Principaux mécanismes

Le point de contrôle asynchrone décompose le processus d’enregistrement traditionnel tout-en-un en deux étapes coordonnées :

1. Transfert GPU-CPU : L’état du modèle est rapidement transféré de la mémoire GPU à la mémoire CPU, ce qui permet de poursuivre l’entraînement sans délai.
2. Persistance asynchrone : Une fois que les données sont sur le processeur central, les threads dédiés gèrent leur sauvegarde sur disque, ce qui permet aux processeurs graphiques de se concentrer sur l’entraînement. 

Sous le capot, PyTorch utilise des groupes de processus distincts pour gérer les points de contrôle, afin qu’ils n’interfèrent pas avec les tâches d’entraînement distribué en cours.

Imaginez-le comme un arrêt au stand de Formule 1 : Votre GPU coûteux est la voiture de course, optimisée pour la vitesse, tandis que le processeur central est l’écurie de stand, conçue pour gérer rapidement la maintenance. Vous ne voulez pas que votre moteur GPU de 40 000 $ tourne au ralenti tout en sauvegardant vos données sur disque. Ce design permet de maintenir la voiture sur la piste pendant que l’équipage s’occupe de l’activité. 

En pratique, les équipes d’AI n’ont plus besoin de choisir entre performance et résilience. Comme pour les courses, où la vitesse et la maintenance peuvent coexister avec la bonne stratégie de fosse, le point de contrôle asynchrone permet de poursuivre l’entraînement des modèles tout en sauvegardant l’état en arrière-plan. 

Avantages de la mise en œuvre

Perturbation minimale de la formation

L’entraînement ne s’arrête que brièvement pour transférer l’état du modèle du GPU vers la mémoire CPU. Cela signifie que les praticiens de l’AI peuvent maintenir leur dynamisme pendant les longues sessions d’entraînement sans perdre de précieux cycles GPU, qui sont particulièrement importants pour le développement de modèles sensibles au temps ou l’expérimentation itérative.

Augmentation de la fréquence des points de contrôle

Puisque le point de contrôle ne bloque plus l’ensemble du pipeline d’entraînement, les équipes peuvent enregistrer l’état du modèle plus souvent. Pour les praticiens, cela ouvre la voie à des itérations plus rapides, à des expérimentations plus simples et à une meilleure protection contre les défaillances d’entraînement rares, mais coûteuses, comme les plantages de nœuds ou les erreurs de mémoire.

Tolérance aux pannes améliorée

Des points de contrôle plus fréquents réduisent le temps de reprise en cas d’échec d’une tâche. Pour les responsables d’infrastructure, cela se traduit par des redémarrages de tâches plus rapides, moins d’heures de calcul perdues et une meilleure prévisibilité du niveau de service sur les clusters partagés. Il réduit également le besoin d’une planification des tâches trop prudente, libérant ainsi de la capacité pour les charges de travail plus actives.

Meilleure utilisation des ressources

Les processeurs graphiques continuent de fonctionner tandis que les threads processeurs gèrent les écritures sur disque. Cela garantit un retour sur investissement maximal des GPU graphiques en maintenant une utilisation de calcul élevée et en évitant les conflits I/O inutiles sur les systèmes de stockage partagés. Pour les administrateurs de stockage et les VP d’infrastructure, cela signifie moins de pression sur les IOPS, un comportement des I/O plus prévisible et moins de goulets d’étranglement susceptibles d’affecter les autres utilisateurs du système.

FlashBlade de Pure Storage : Amplifier les performances

Si le point de contrôle asynchrone de PyTorch réduit considérablement les interruptions de formation, l’infrastructure de stockage détermine jusqu’où ces gains peuvent aller. Dans les environnements d’AI multi-nœuds à haut débit, FlashBlade de Pure Storage est particulièrement adapté pour maximiser la valeur du point de contrôle asynchrone.

Conçu pour accélérer les Metadata et le haut débit

Bien que le point de contrôle asynchrone puisse réduire les interruptions de formation, FlashBlade libère tout son potentiel. Son architecture gère les opérations gourmandes en métadonnées de l’entraînement à grande échelle avec une latence constamment faible, même pendant les rafales d’écriture intenses.

Cela se traduit par :

• Accélérer la réalisation des points de contrôle : Les threads d’arrière-plan peuvent écrire rapidement l’état du modèle sur le disque, ce qui permet souvent d’atteindre un débit d’écriture 10 fois supérieur aux configurations de point de contrôle traditionnelles.
• Pas de retard : Avec les I/O à faible latence, les points de contrôle ne s’accumulent pas et ne rivalisent pas avec les autres opérations d’entraînement, ce qui permet au système de rester réactif et d’assurer la formation dans les délais.
• Planification fiable : Les performances dI/O prévisibles permettent aux équipes de planifier des stratégies de point de contrôle en toute confiance, sans se soucier des ralentissements inattendus ou des boucles d’entraînement bloquées.

Conçu pour le parallélisme à grande échelle

L’architecture distribuée et scale-out de FlashBlade répartit les données sur plusieurs lames, ce qui permet :

• Écritures parallèles sans goulets d’étranglement : Plusieurs nœuds peuvent écrire des points de contrôle en même temps, ce qui évite les conflits dI/O.
• Des performances constantes au fur et à mesure de votre croissance : L’ajout de nœuds d’entraînement ne surcharge pas la couche de stockage, car FlashBlade évolue en fonction de votre empreinte de calcul, ce qui permet de maintenir les performances dans des conditions de demande accrue.
• Coordination rapide des métadonnées : L’accès rapide aux métadonnées permet une orchestration efficace des points de contrôle pour les tâches d’entraînement distribuées de grande envergure.

Des performances qui s’adaptent à vos besoins

L’association du point de contrôle asynchrone de PyTorch avec Pure Storage FlashBlade supprime le stockage sous forme de goulets d’étranglement dans le pipeline d’entraînement AI. Au lieu de concevoir autour des limites I/O ou de supporter de longues pauses pour conserver les états du modèle, les équipes peuvent désormais s’entraîner à pleine vitesse, les points de contrôle se déroulant en arrière-plan.

Cette intégration offre :

• Utilisation quasi continue des GPU graphiques, même lors de points de contrôle fréquents
• Des stratégies de point de contrôle flexibles, adaptées aux besoins des charges de travail
• Évolutivité de l’infrastructure en fonction des besoins de calcul et non des contraintes de stockage

Il ne s’agit pas seulement d’accélérer les I/O, mais aussi de conserver vos ressources les plus précieuses, comme les processeurs graphiques, aussi efficacement que possible. Tout comme vous ne gareriez pas une voiture de course pour faire tourner ses pneus en milieu de course, le point de contrôle asynchrone garantit que l’entraînement reste sur la bonne voie tandis que les systèmes légers gèrent l’économie.

La combinaison du point de contrôle asynchrone PyTorch et de FlashBlade représente un changement dans la conception de l’infrastructure d’entraînement à grande échelle. En multipliant par 10 ou plus la surcharge des points de contrôle et en offrant des performances constantes et à faible latence à grande échelle, cette solution aide les équipes à tirer le meilleur parti de leurs processeurs graphiques et à accélérer les cycles de développement de modèles.

Pour les administrateurs de stockage et les responsables d’infrastructure, il offre un comportement d’I/O prévisible, une gestion simplifiée et la confiance nécessaire pour faire évoluer les charges de travail d’entraînement sans compromettre les performances. Pour les ingénieurs AI, cela signifie des cycles d’entraînement plus fluides, des itérations plus rapides et la possibilité de mettre en production des modèles plus volumineux plus rapidement et de manière plus fiable. 

À mesure que les charges de travail d’AI continuent d’évoluer, le partenariat entre la conception de logiciels intelligents et le stockage haute performance devient essentiel. Avec le checkpointing asynchrone et la solution FlashBlade de Pure Storage, le stockage n’est plus un facteur limitant, mais un avantage concurrentiel.

Try FlashBlade

No hardware, no setup, no cost—no problem. Experience the self-service capabilities of FlashBlade.

Take a Test Drive