FlashBlade//EXA, MLPerf 스토리지 v3.0 벤치마크

새로운 기능

Everpure FlashBlade//EXA™는 새로 출시된 MLPerf Storage v3.0 벤치마크에서 405B 파라미터 및 1.25T 파라미터 모델 체크포인트 및 KV 캐시 성능 카테고리에서 1위를 차지했습니다. 벤치마크는 스토리지를 개별적으로 테스트하는 대신 까다로운 AI 워크로드에 대한 스토리지 성능을 측정하도록 설계되었습니다.

트레이닝 실행을 체크포인트해야 하거나 추론 워크로드가 KV 캐시 데이터를 검색해야 할 때, 스토리지 시스템은 사후 생각 이상으로 이동하며 방정식의 일부가 됩니다. 스토리지가 속도에 맞지 않으면 GPU와 가속기가 유휴 상태가 되면 비용이 많이 들기 시작합니다.

Everpure의 최고 기술 및 성장 책임자인 Rob Lee는 “이러한 결과는 FlashBlade//EXA가 AI 워크로드의 증가하는 수요에 앞서 시장에서 가장 높은 성능과 확장성을 제공한다는 것을 다시 한번 입증합니다.”라고 말했습니다. “AI 개발의 최첨단을 발전시키는 조직은 안정성 및 운영 간소화에 대한 균형을 유지하면서 최고의 성능과 확장성을 제공할 수 있는 인프라가 필요합니다. FlashBlade//EXA는 이를 실현하는 데 있어 그 자체입니다.”

숫자 이면

규모에 따라 검색 결과를 도출할 수 있습니다. 플래시FlashBlade//EXA는 1,024개의 시뮬레이션된 가속기를 통해 1.25T 파라미터 모델에 30개의 데이터 노드를 사용하여 877.52GiB/s 쓰기 B/W(17.74초) 및 588.28GiB/s 읽기 B/W(28.99초)를 제공했습니다.

더 중요한 것은, 10개의 데이터 노드가 있는 327.65GiB/s의 쓰기 처리량에서 30개의 데이터 노드가 있는 877.52GiB/s로 예측 가능한 성능을 확장했다는 점입니다. 이러한 예측 가능한 확장은 AI 워크로드가 정적으로 유지되지 않기 때문에 중요합니다. 조직이 컴퓨팅 성능을 추가하고, 모델 크기를 늘리고, 더 많은 데이터를 가져오고, 용량을 확장함에 따라, 스토리지 아래의 인프라는 보조를 맞춰야 합니다.

추론 측면에서도 동일한 문제가 대두되고 있습니다. 기업들은 점점 더 큰 규모의 모델을 트레이닝하는 것에서 대규모로 서비스를 제공하는 것으로 이동함에 따라, KV 캐시는 데이터 경로에서 점점 더 중요한 부분이 되고 있습니다. MLPerf 테스트에서 FlashBlade//EXA는 스토리지만 사용하는 Llama 3.1 8B 워크로드에 초당 85,736개의 토큰, 스토리지와 메모리를 사용하는 8B 워크로드에 초당 67,642개의 토큰, 70B 스토리지만 사용하는 워크로드에 초당 33,403개의 토큰을 제공했습니다. 그 숫자는 AI 인프라에 대해 어떻게 생각해야 하는지에 대한 보다 광범위한 변화를 의미합니다. 스토리지는 컴퓨팅 운영 사이에 데이터가 존재하는 곳이 아닙니다. AI 워크로드가 요구하는 속도로 데이터 경로에 참여해야 하는 경우가 증가하고 있습니다.

또한 이러한 결과의 기반이 되는 아키텍처가 중요합니다. FlashBlade//EXA는 메타데이터 관리를 데이터 전송과 분리하는 분산 아키텍처를 사용합니다. 벤치마크 구성에서는 메타데이터 전용 DirectFlash® 모듈 120개가 포함된 FlashBlade//EXA 블레이드 30개가 Linux/NVMe 데이터 노드 30개와 함께 작동하여 통합 파일 시스템을 통해 약 866TB의 가용 용량을 제공합니다. 아키텍처는 파일 레이아웃 협상을 위해 TCP를 통한 NFSv4.1/pNFS를, 고속 데이터 이동을 위해 RDMA를 통한 NFSv3(RoCEv2)을 사용합니다. 다시 말해, 데이터는 중앙 집중식 스토리지 경로를 통해 모든 워크로드를 강제하는 대신 기반 네트워크 패브릭을 통해 이동할 수 있습니다.

이것이 중요한 이유

이러한 차별화는 AI 클러스터가 성장함에 따라 더욱 중요해지고 있습니다. 이는 특정 구성을 위해 빠른 스토리지 시스템을 구축한 다음 AI 환경이 바뀔 때 재설계하는 것이 아닙니다. 엔지니어링 팀을 위해 복잡성을 추가하지 않고 컴퓨팅 환경과 함께 용량 및 성능을 확장할 수 있는 아키텍처를 갖추는 것입니다.

이는 기존의 스토리지 어레이를 넘어 엔터프라이즈 데이터 클라우드로 비전을 확장하려는 Everpure의 여정과 관련이 있습니다. 엔터프라이즈 데이터 클라우드는 점점 더 복잡해지는 환경에서 엔터프라이즈가 데이터를 관리하고 사용할 수 있도록 지원하는 소프트웨어 기반 접근 방식입니다. AI는 이러한 비전에 대한 가장 명확한 테스트 중 하나입니다. AI의 기반 인프라는 더 이상 연결 해제된 구성 요소의 집합으로 취급될 수 없기 때문입니다. GPU, 네트워킹, 스토리지 및 데이터는 모두 함께 작동해야 하며, 성능은 다른 GPU가 얼마나 잘 따라갈 수 있는지에 따라 점점 더 달라집니다. 또한 데이터 이동을 예측 가능하게 확장하는 능력은 최고 성능만큼이나 중요할 수 있습니다.