Ponto de verificação assíncrono do FlashBlade e PyTorch da Pure Storage: Aceleração do treinamento para grandes modelos de AI

O treinamento de grandes modelos de AI vem com desvantagens, e um dos mais críticos é encontrar o equilíbrio certo entre desempenho e resiliência. A verificação é essencial para a tolerância a falhas, mas a abordagem síncrona tradicional força o treinamento a pausar enquanto o estado do modelo é salvo. Para modelos de bilhões de parâmetros e superiores, essas pausas podem se estender em minutos, retardando a iteração do desenvolvedor e deixando as GPUs caras inativas quando deveriam estar sendo treinadas.

O checkpointing assíncrono oferece uma alternativa mais inteligente. Ao dissociar o processo de ponto de verificação do caminho de treinamento crítico, ele permite que o ponto de verificação aconteça em segundo plano, mantendo as GPUs caras ocupadas e os fluxos de trabalho de treinamento ininterruptos. Quando combinado com a arquitetura de expansão horizontal e alta taxa de transferência do FlashBlade® da Pure Storage®, a sobrecarga de pontos de verificação cai significativamente, muitas vezes em 90% ou mais, sem comprometer a confiabilidade. É uma maneira prática de manter o impulso do treinamento em grande escala.

Ponto de verificação assíncrono PyTorch

O checkpointing assíncrono distribuído da PyTorch apresenta uma grande mudança na forma como um estado de modelo é tratado. Em vez de interromper o treinamento para anotar pontos de verificação, ele permite salvar o fundo enquanto a computação continua. Isso não apenas reduz o tempo ocioso da GPU, mas também permite que cada processo de treinamento grave seus dados de ponto de verificação de forma independente, distribuindo I/O entre nós e reduzindo a pressão sobre sistemas de armazenamento compartilhado.

O resultado são ciclos de treinamento mais rápidos, melhor utilização de recursos e expansão mais tranquila para grandes cargas de trabalho. A verificação frequente é a melhor prática para recuperação e experimentação de falhas, mas os métodos tradicionais o tornam muito caro. A verificação assíncrona muda a equação, permitindo que as equipes salvem o estado quantas vezes precisarem sem interromper o fluxo de treinamento.

Principais mecanismos

A verificação assíncrona divide o processo tradicional de salvamento único em duas etapas coordenadas:

1. Transferência de GPU para CPU: O estado do modelo é rapidamente movido da memória da GPU para a memória da CPU, permitindo que o treinamento continue sem demora.
2. Persistência assíncrona: Depois que os dados estiverem na CPU, os threads dedicados lidam com o salvamento deles no disco, mantendo as GPUs livres para se concentrarem no treinamento. 

No fundo, a PyTorch usa grupos de processo separados para gerenciar pontos de verificação, para que não interfira nas tarefas contínuas de treinamento distribuído.

Pense nisso como um pit stop de Fórmula 1: Sua GPU cara é o carro de corrida, otimizado para velocidade, enquanto a CPU é a equipe do pit, criada para lidar com manutenção rápida. Você não quer que seu mecanismo de GPU de US$ 40.000 fique inativo enquanto salva dados em disco. Esse design mantém o carro no caminho certo enquanto a equipe cuida dos negócios. 

Na prática, isso significa que as equipes de AI não precisam mais escolher entre desempenho e resiliência. Assim como nas corridas, onde a velocidade e a manutenção podem coexistir com a estratégia de pit certa, a verificação assíncrona permite que o treinamento de modelo continue enquanto a economia de estado acontece em segundo plano. 

Benefícios da implementação

Interrupção mínima do treinamento

O treinamento é pausado apenas brevemente para transferir o estado do modelo da GPU para a memória da CPU. Isso significa que os profissionais de AI podem manter o ritmo durante longas execuções de treinamento sem perder ciclos valiosos de GPU, que são especialmente importantes para o desenvolvimento de modelos sensíveis ao tempo ou experimentação iterativa.

Frequência de ponto de verificação aumentada

Como a verificação não para mais todo o fluxo de treinamento, as equipes podem salvar o estado do modelo com mais frequência. Para os profissionais, isso abre as portas para uma iteração mais rápida, experimentação mais fácil e melhor proteção contra falhas de treinamento raras, mas caras, como falhas de nó ou erros fora da memória.

Tolerância a falhas aprimorada

Os pontos de verificação mais frequentes reduzem o tempo de recuperação se um trabalho falhar. Para líderes de infraestrutura, isso se traduz em reinicializações mais rápidas de trabalho, menos horas de computação perdidas e melhor previsibilidade no nível de serviço entre clusters compartilhados. Ela também reduz a necessidade de agendamento de tarefas excessivamente conservador, liberando capacidade para cargas de trabalho mais ativas.

Melhor utilização de recursos

As GPUs continuam funcionando enquanto os threads da CPU lidam com gravações de disco. Isso garante o máximo retorno sobre o investimento em GPU mantendo a utilização de computação alta e evitando contenção desnecessária de I/O em sistemas de armazenamento compartilhado. Para administradores de armazenamento e VPs de infraestrutura, isso significa menos pressão sobre IOPS, comportamento de I/O mais previsível e menos gargalos que podem afetar outros usuários no sistema.

FlashBlade da Pure Storage: Ampliação do desempenho

Embora a verificação assíncrona do PyTorch reduza significativamente as interrupções de treinamento, a infraestrutura de armazenamento determina até onde esses ganhos podem ir. Em ambientes de AI de alto rendimento e vários nós, o FlashBlade da Pure Storage é exclusivamente adequado para maximizar o valor do checkpointing assíncrono.

Desenvolvido para Metadata rápidos e alta taxa de transferência

Embora a verificação assíncrona possa reduzir a interrupção do treinamento por conta própria, o FlashBlade libera todo o seu potencial. Sua arquitetura lida com as operações pesadas de metadados do treinamento em grande escala com latência consistentemente baixa, mesmo durante explosões intensas de gravação.

Isso se traduz em:

• Conclusão mais rápida do ponto de verificação: Os threads de segundo plano podem gravar o estado do modelo no disco rapidamente, muitas vezes alcançando uma taxa de transferência de gravação 10 vezes maior em comparação com as configurações de ponto de verificação tradicionais.
• Sem atrasos ou atrasos: Com I/O de baixa latência, os pontos de verificação não se acumulam nem competem com outras operações de treinamento, mantendo o sistema responsivo e o treinamento dentro do cronograma.
• Agendamento confiável: O desempenho previsível I/O permite que as equipes planejem estratégias de pontos de verificação com confiança, sem se preocupar com lentidão inesperada ou loops de treinamento paralisados.

Desenvolvido para o paralelismo em grande escala

A arquitetura de expansão horizontal e distribuída do FlashBlade espalha dados entre vários blades, o que permite:

• Gravações paralelas sem gargalos: Vários nós podem gravar pontos de verificação ao mesmo tempo, evitando contenção de I/O.
• Desempenho uniforme conforme você cresce: A adição de nós de treinamento não sobrecarrega a camada de armazenamento porque o FlashBlade é dimensionado de acordo com o espaço físico da sua computação, mantendo o desempenho sob maior demanda.
• Coordenação rápida de metadados: O acesso rápido aos metadados permite orquestração eficiente de pontos de verificação em grandes trabalhos de treinamento distribuídos.

Desempenho que se adapta às suas necessidades

Combinar a verificação assíncrona do PyTorch com o FlashBlade da Pure Storage remove o armazenamento como um gargalo no fluxo de treinamento de AI. Em vez de projetar em torno de limitações I/O ou pausas longas para persistir os estados do modelo, as equipes agora podem treinar em velocidade total com pontos de verificação acontecendo silenciosamente em segundo plano.

Essa integração oferece:

• Utilização quase contínua de GPU, mesmo durante pontos de verificação frequentes
• Estratégias flexíveis de verificação, adaptadas aos requisitos da carga de trabalho
• Dimensionamento de infraestrutura orientado por necessidades de computação, não restrições de armazenamento

Não se trata apenas de I/O mais rápidas, mas de manter seus ativos mais valiosos, como GPUs, funcionando da maneira mais eficiente possível. Assim como você não estacionaria um carro de corrida para girar os pneus no meio da corrida, a verificação assíncrona garante que o treinamento permaneça no caminho certo enquanto sistemas leves lidam com a economia.

A combinação do ponto de verificação assíncrono do PyTorch e do FlashBlade representa uma mudança na forma como a infraestrutura de treinamento em larga escala é desenvolvida. Ao reduzir a sobrecarga do ponto de verificação em 10 vezes ou mais e oferecer desempenho uniforme e de baixa latência em grande escala, essa solução ajuda as equipes a aproveitar melhor suas GPUs e acelerar os ciclos de desenvolvimento de modelos.

Para administradores de armazenamento e líderes de infraestrutura, ela traz um comportamento previsível de I/O, gerenciamento simplificado e confiança para dimensionar cargas de trabalho de treinamento sem comprometer o desempenho. Para engenheiros de AI, isso significa execuções de treinamento mais tranquilas, iteração mais rápida e a capacidade de colocar modelos maiores em produção com mais rapidez e confiabilidade. 

À medida que as cargas de trabalho de AI continuam a expandir, a parceria entre o design inteligente de software e o armazenamento de alto desempenho se torna essencial. Com o checkpointing assíncrono e o FlashBlade da Pure Storage, o armazenamento não é mais um fator limitante, é uma vantagem competitiva.

Try FlashBlade

No hardware, no setup, no cost—no problem. Experience the self-service capabilities of FlashBlade.

Take a Test Drive