FlashBlade + LandingAI da Pure Storage: Acelere a inteligência visual

Este blog sobre o poder do FlashBlade e do LandingLens da LandingAI foi coautor de Steve Ackley da LandingAI.

Vamos ser reais: A AI visual não é mais apenas um playground de P&D. É assim que as fábricas detectam defeitos antes que eles custem milhões, como as seguradoras aceleram os sinistros e como as empresas de biotecnologia ultrapassam os limites da descoberta. Os modelos? Eles estão prontos. GPUs? Muita potência. Mas aqui está a captura: A maioria dos projetos chega a um ponto crítico porque o armazenamento não consegue acompanhar.

Veja a realidade:

• O DGX ou HGX mais recente pode mastigar de 1-5TB/s para treinamento, e a inferência em tempo real pode variar de 500GB/s a 1TB/s.
• Dimensionar um cluster de GPUs de maneira realista exige que o sistema NAS expanda o desempenho linearmente para manter esses clusters de GPUs ocupados.
• As equipes acabam copiando as mesmas imagens repetidamente apenas para executar experimentos.
• As configurações híbridas, onde alguns dados estão na nuvem, outros no local, criam dores de cabeça com segurança e operações.

É aí que entra essa configuração da Pure Storage + LandingAI. A LandingAI simplifica o processo de criação e implantação de modelos (via LandingLens e microsserviços). A Pure Storage lida com o data firehose com o FlashBlade//S – um array NVMe totalmente flash que pode atingir até 450GB/s e latência inferior a milissegundos. All-Flash Array O FlashBlade//EXA (ShellBlade//EXA ) pode atingir a taxa de transferência de leitura acima de 10TB/s. Juntos, vocês obtêm uma arquitetura de referência limpa: imagens brutas, insights, sem refazer a fiação, sem cópias de dados complicadas.

(E não, o FlashBlade//S não é o seu SSD comum. É mais como 100 SSDs NVMe por trás de uma malha de 450GB/s. Pense 10 vezes mais rápido do que SSDs de desktop ou unidades USB.)

O que realmente construímos

Figura 1: 

Arquitetura LandingLens

Figura 2: 

Como funciona (sem o Jargon)

Provisão: Automatizamos o lado do Azure com o Terraform; os nós locais da Pure Storage são provisionados manualmente por enquanto.

Pacote: A CLI da AI de destino e nosso script de personalização geram gráficos Helm específicos do local, injetando hosts de banco de dados, regras de ingresso e tags de imagem.

Lançamento: Aplicamos o serviço de gráficos por serviço com a atualização Helm. Instale, adicionando segredos pull para cada namespace. Uma instalação guiada geralmente leva alguns dias com nossos engenheiros de plantão.

Resultado final: Qualquer engenheiro autorizado pode acelerar toda a pilha em minutos, testar localmente ou na nuvem e começar a produção sem retrabalho.

O que é legal nisso

Sem preparação ou cópia de dados: O LandingLens funciona diretamente no FlashBlade//S. Não há necessidade de tarefas rsíncronas ou transformação de cache.

Mesma velocidade, não importa o tamanho do conjunto de dados: Não importa se você está lidando com 100GB ou 1PB, o desempenho permanece estável graças à malha paralela do FlashBlade^®.

Segurança e resiliência integradas: O FlashBlade oferece criptografia sempre ativa e snapshots imutáveis para que o Ransomware não tenha chance.

Precisão: Há um nível mais alto de precisão em comparação com o código aberto e um número menor de amostras para ajustar modelos de visão altamente especializados.

Tempo para treinar/valorizar: Devido às vantagens arquitetônicas, a pilha oferece o tempo mais rápido para treinar modelos de visão em comparação com as ofertas de código aberto.

Desempenho: A solução oferece a melhor unidade de desempenho/rack, métricas de desempenho/W/GB e o melhor desempenho de carga de trabalho mista (leitura/gravação simultânea) para cargas de trabalho de AI multimodais.

Custo: A solução oferece o melhor TCO geral com desempenho garantido por meio Pure StorageEvergreen//One .

Oferta geral de valor:o Pure Storage FlashBlade + LandingLens oferece um pod de pilha completa validado e pronto para uso para imagiologia médica, biotecnologia e fabricação, oferecendo o tempo mais rápido para treinar/valorizar para o cliente final em casos de uso de visão computacional.

O que isso significa para você

Agora, vamos dar uma olhada em alguns casos de uso para essa pilha.

Fabricação e eletrônica

Acabe com a “verificação pontual e a oração”. Com o FlashBlade alimentando suas GPUs a até 600Gb/s, e ainda mais rápido se você passar para o FlashBlade//EXA, o LandingLens sinaliza componentes ausentes, peças fora do ângulo, pontes de solda e vestígios cosméticos enquanto a linha ainda está em movimento. Como os modelos aprendem com uma fração das imagens rotuladas que a maioria das pilhas de código aberto exige, você obtém maior rendimento e rastreabilidade hermética sem o log de rotulagem de dados de seis meses.

Aplicação de LandingLens na fabricação.

Têxteis e embalagens

Não importa se você está tecendo malha de fibra de carbono ou imprimindo etiquetas termorretráteis, cada rolo e cada passe de impressão é transmitido diretamente para a memória da GPU. O mesmo fluxo que identifica manchas e defeitos de tecelagem pode ler códigos de barras ou códigos de lote rapidamente, para que você capture mudanças de cor, impressões incorretas ou lacunas de selante antes que um único palete saia da doca, sem rsincronização noturna, jogos de cache, apenas olhos em tempo real em cada milímetro.

Biotecnologia e ciências médicas

Imagens de lâmina inteira e pilhas de microscopia fluorescente se movem na velocidade da descoberta, não na velocidade das transferências de arquivos. Ajuste no local, por trás do firewall, com criptografia sempre ativa e snapshots imutáveis que se alinham com o 21 CFR Parte 11 da FDA e a HIPAA. Resultado: ciclos de ensaio mais rápidos, sem dores de cabeça de soberania de dados.

Aplicação da LandingLens em ciências médicas e biotecnologia.

Finanças e seguros

O LandingLens transforma backlogs de documentos em fluxos de trabalho diretos. Em nossa criação de viabilidade, a pilha ingeriu fotos de identificação de alta resolução, pacotes de reivindicação de várias páginas e pacotes de hipoteca diretamente do FlashBlade, os impulsionou pelos serviços de visão e AI de documentos e entregou resultados estruturados aos sistemas centrais, tudo no mesmo ferro, sem desmembramento de dados para a nuvem. Os primeiros pilotos mostram que você pode depilar dias fora do KYC e dos ciclos de sinistros enquanto mantém cada byte dentro do seu próprio perímetro de conformidade.

Monitoramento de equipamentos industriais

Fique de olho em transportadores, prensas e braços robóticos. No momento em que o alinhamento se desvia ou uma correia começa a se desgastar, o modelo de visão dispara um ticket de manutenção. Como o FlashBlade expande linearmente, um rack de cada vez, você pode continuar adicionando câmeras (ou células de produção inteiras) sem sequer rearquitetar o armazenamento ou observar a latência passar de um milissegundo.

Assista a um vídeo de demonstração do LandingLens

O que vem a seguir

Execute seu próprio piloto: Estamos oferecendo aos primeiros clientes a chance de testar suas cargas de trabalho em nossa configuração de laboratório conjunto.

Resultados do benchmark: Publicaremos números reais de latência, taxa de transferência e custo assim que os pilotos terminarem.

Modelo faça você mesmo: Estamos preparando as configurações do Terraform + Helm para que sua equipe de DevOps possa replicar a configuração em menos de uma hora.

Pronto para criar? Traga seus dados para nós

Se você tem uma biblioteca de imagens ou uma pilha de documentos enormes que retardam seus planos de AI, vamos testar. Traga-nos seu conjunto de dados. Vamos executá-lo e mostrar o que essa pilha pode fazer.

Try FlashBlade

No hardware, no setup, no cost—no problem. Experience the self-service capabilities of FlashBlade.

Take a Test Drive