ピュア・ストレージの FlashBlade と LandingAI:ビジュアル・インテリジェンスを加速

ビジュアル AI は、さまざまなユースケースで役立ちますが、ストレージが追いついてこそ、その力を発揮できます。ピュア・ストレージの FlashBlade と LandingAI のパワーが、トレーニング時間と価値創出までの時間を短縮します。

FlashBlade with the Power of LandingAI

※このページの内容は、機械翻訳システムで翻訳したものです。

概要

ピュア・ストレージの FlashBlade で LandingAI の LandingLens を使用することで、バイオテクノロジー、金融、製造などのビジュアル AI ユースケースに対応するターンキーで検証済みのフルスタック・ポッドを提供します。

FlashBlade と LandingAI の LandingLens のパワーに関するこのブログは、LandingAI の Steve Ackley 氏との共著です。

現実を見てみましょう。ビジュアル AI は、もはや単なる研究開発の場ではありません。工場では何百万ドルもかかる前に欠陥を発見し、保険会社では保険金請求を迅速化し、バイオテクノロジー企業では発見の限界を押し広げています。 モデルは? 準備は万端です。GPU は? パワーは十分です。しかし、ここに問題があります。ほとんどのプロジェクトは、ストレージが追いついていないために壁にぶつかっています。

現実:

  • 最新の DGX や HGX は、トレーニングのために 1~5 TB/秒のデータ処理が可能であり、リアルタイム推論は 500 GB/秒~1 TB/秒まで対応できます。
  • GPU のクラスタを現実的にスケールさせるには、NAS システムが GPU のクラスタをビジー状態に保つために性能をリニアにスケールさせる必要があります。
  • 実験を実行するためだけに、同じ画像のコピーを何度も繰り返すことになります。
  • クラウドとオンプレミスのデータが混在するハイブリッド環境では、セキュリティや運用面で頭を悩ませる課題が生じます。

そこで、ピュア・ストレージと LandingAI のセットアップが登場します。LandingAI は、モデル構築と展開のプロセスを簡素化します(LandingLens とマイクロサービス経由)。ピュア・ストレージは、FlashBlade//S でデータの大容量化に対応します。最大 450 GB/秒とミリ秒未満のレイテンシを実現する NVMe オールフラッシュ・アレイです。FlashBlade//EXA は、10 TB/秒を超える読み取りスループットを達成します。この 2 つを組み合わせれば、シンプルなリファレンス・アーキテクチャが得られます。未加工の画像データを入力すると、インサイトが出力されます。再配線も、煩雑なデータコピーも不要です。

(FlashBlade//S は、平均的な SSD ではありません。450 GB/秒のファブリックの背後にある 100 台の NVMe SSD のようなものです。 デスクトップ用 SSD や USB ドライブよりも 10 倍高速だとお考えください。)

実際に構築したもの

レイヤー構成目的
コンピューティング3 ノードのフレームラック(Ubuntu)。2 つのノードは CPU、1 つは GPU(OVX – L40S)前処理と GPU 推論の実際の組み合わせを模倣
ストレージ3 シャーシ FB/S500GPU 速度で 100 GB から複数の PB GPU データセットまで、あらゆる処理に対応
ツールチェーンLandingAI CLI & Helm →
カスタマイズ用スクリプト
1 つのコマンドでインフラとアプリケーション・スタックの両方を立ち上げる
AI スタックLandingLens、PostGreSQL 14ビジョンとマルチモーダルの両方のドキュメント・ワークフローをカバー

LandingLens アーキテクチャ

仕組みをやさしく解説

プロビジョニング:Azure 側は Terraform で自動化し、オンプレミスのピュア・ストレージのノードは現時点では手動でプロビジョニングしています。

パッケージ:LandingAI CLI とカスタマイズ用スクリプトは、サイト固有の Helm チャートを生成し、DB ホスト、イングレス・ルール、イメージタグを挿入します。

ローンチ:Helm の upgrade --install コマンドを使用してサービスごとにチャートを適用し、ネームスペースごとに pull secret を追加します。ガイド付きインストールは、エンジニアが待機している状態で、通常 2、3 日かかります。

結論:認定されたエンジニアであれば、数分でスタック全体を立ち上げ、ローカルまたはクラウドでテストし、手直しすることなく本番環境に移行できます。

注目すべき特長

ステージングやデータのコピーは不要:LandingLens は FlashBlade//S で直接動作します。rsync ジョブやキャッシュ・ラングリングは不要です。

データセットのサイズにかかわらず同じ速度:FlashBlade の並列ファブリックにより、100 GB でも 1 PB でも性能は変わりません。

セキュリティと耐障害性を内蔵: FlashBlade は、常時オンの暗号化と不変のスナップショットを提供するため、ランサムウェアの入り込む余地はありません。

精度:オープンソースと比較して精度が高く、高度に専門的なビジョン・モデルをファインチューニングする際にも、必要なサンプル数は少なくて済みます。

トレーニング/価値創出までの時間:アーキテクチャ上の利点により、スタックはオープンソース製品と比較して、ビジョン・モデルのトレーニングに最速の時間を提供します。

性能:このソリューションは、ラックあたりの性能、ワット/GB あたりの性能指標、マルチモーダル AI ワークロードにおける混合ワークロード性能(同時読み取り/書き込み)において、最高水準を提供します。

コスト:このソリューションは、ピュア・ストレージの Evergreen//One により、全体的な TCO を最適化し、性能を保証します。

総合的な価値の提供:ピュア・ストレージの FlashBlade と LandingLens は、医用画像、バイオテクノロジー、製造業向けのターンキー検証済みのフルスタック・ポッドを提供し、コンピュータ・ビジョンのユースケースにおいて、エンド・ユーザーに最短のトレーニング時間と価値を提供します。

もたらす効果

このスタックのユースケースについて詳しく見ていきましょう。

その場しのぎのチェックに終止符を打ちましょう。FlashBlade は、GPU を最大 600 Gb/秒で供給します。FlashBlade//EXA – LandingLens にステップアップすれば、ラインが動いている間に部品の欠落、オフアングル部品、はんだブリッジ、外観上の凹みを検出します。このモデルは、ほとんどのオープン・ソース・スタックで必要とされるラベル付き画像のごく一部から学習するため、6 ヶ月のデータラベル付け作業をすることなく、高い歩留まりと厳密なトレーサビリティを得ることができます。

製造における LandingLens の応用

カーボンファイバーの織物やシュリンクラップ・ラベル印刷など、全てのロールと全ての印刷工程が GPU メモリに直接ストリーミングされます。汚れや織り不良を検出する同じパイプラインが、バーコードやロット・コードを即座に読み取ることができるため、パレットが倉庫から出る前に、カラーシフト、ミスプリント、シーラントのギャップをキャッチできます。夜間の同期やキャッシュの調整は不要で、リアルタイムで全てのミリ単位を監視します。

全スライド画像や蛍光顕微鏡のスタックは、ファイル転送の速度ではなく、発見のスピードで処理されます。オンプレミスでファイアウォール内に設置し、FDA 21 CFR Part 11 および HIPAA に準拠した常時オンの暗号化と不変のスナップショットにより、微調整を行えます。その結果、アッセイ・サイクルが短縮され、データ主権に関する頭痛の種がなくなります。

LandingLens のライフサイエンスとバイオテクノロジーへの応用

LandingLens は、ドキュメントのバックログをストレートスルーのワークフローに変えます。実現可能性の構築において、スタックは高解像度の ID 写真、複数ページの請求書類、住宅ローン関連書類を FlashBlade から直接取り込み、ビジョンとドキュメント AI サービスを通じて処理し、構造化された結果をコア・システムに返しました。これらは全て同じハードウェア上で行い、クラウドへのデータ転送は一切ありませんでした。初期のパイロット・テストでは、KYC や請求処理サイクルを数日短縮することができ、全データを自社のコンプライアンス範囲内に保つことが可能であることが示されています。

コンベア、プレス、ロボット・アームを常に監視します。アライメントがドリフトしたり、ベルトがほつれ始めると、ビジョン・モデルがメンテナンス・チケットを発行します。FlashBlade は、シャーシを 1 つずつリニアに拡張できるため、ストレージの再設計や遅延が 1 ミリ秒を超えるのを気にすることなく、カメラや生産セルを追加し続けることができます。

LandingLens のビデオを見る

最新情報

パイロットの実施:初期のお客さまには、共同ラボ環境で実際のワークロードをテストする機会を提供しています。

ベンチマーク結果:パイロットが完了次第、実環境におけるレイテンシ、スループット、コストの実測値を公開します。

DIY ブループリント:Terraform と Helm の構成をパッケージ化し、DevOps チームが 1 時間以内にセットアップを再現できるようにします。

構築の準備はできましたか? あなたのデータで始めましょう

大規模なイメージ・ライブラリやドキュメントの山が AI 計画を遅らせているのなら、テストしてみましょう。データセットをお持ちいただければ、ライブで実行し、このスタックで何ができるかをお見せします。