요약
The writing is on the wall for HDD. With its declining performance per TB, HDD isn’t suitable for the evolving needs of data centers. Enterprises are turning to flash storage for its better density, performance, and power efficiency.
이 블로그 시리즈의 파트 1에서 언급한 위스콘신 대학교 연구는 스토리지 장치 수준에서 구현된 CO2e(제조 배출)를 비교했습니다. 성능 및 용량 요구 사항을 충족하기 위해 단일 디바이스만 필요한 솔루션의 경우, 이는 장치당 최신 CO2e 값과도 유효한 비교가 될 수 있습니다. 그러나 엔터프라이즈 시스템에서는 이러한 디바이스 간 직접 비교가 오해의 소지가 있습니다. 스토리지 기술에 따라 성능 및 용량이 다르게 확장되며, 이러한 시스템 수준의 역학 관계를 무시하면 결함이 있는 결론으로 이어집니다.
엔터프라이즈 스토리지 시스템 간의 의미 있는 비교를 도출하려면 시스템 수준의 성능 및 용량 요구 사항으로 시작한 다음 HDD 또는 SSD를 사용하여 이러한 요구 사항을 충족하는 구성을 구성해야 합니다. 플래시 스토리지 시스템은 용량 활용도를 높일 뿐만 아니라 성능 저하를 최소화하면서 인라인 데이터 절감을 제공합니다. 또한 SSD는 장치당 더 많은 집적도를 제공하므로, 주어진 시스템 용량에 더 적은 수의 장치가 필요합니다. 반면, HDD의 낮은 성능은 처리량 요건을 충족하기 위해 과도한 드라이브를 필요로 하는 경우가 많습니다. 이를 통해 비용, 전력, 구현 및 운영상의 배출량은 물론 전자 폐기물도 대폭 증가됩니다.
테라바이트당 HDD 성능의 축소
스토리지 시스템을 비교할 때 이러한 급격한 증가가 일어나고 있는 이유를 이해하려면 먼저 HDD 성능을 고려해야 합니다. HDD는 인터페이스와 회전 속도에 따라 성능이 다르지만, 오늘날 가장 빠른 드라이브도 약 200-300MB/s 또는 200~300 IOPS를 초과합니다. 흥미롭게도, 높은 큐 깊이 또는 보호되지 않은 나중 쓰기 캐시를 사용하면 HDD IOPS가 약 200~300 IOPS의 베이스에서 500 또는 심지어 1,000 IOPS 범위로 향상될 수 있습니다. 기술 마케팅 클레임 및 제품 사양서의 경우, 이러한 개선 사항은 보난자입니다. 안타깝게도 평균 및 꼬리 지연 시간 측면에서 매우 높은 비용이 발생합니다. 톰의 하드웨어 기사에서 알 수 있듯이, 성능은 6년 된 SSD보다 여전히 몇 배 더 낮습니다. HDD를 위한 최상의 시나리오입니다. 랜덤 소형 블록 I/O의 일부라도 포함된 실제 워크로드는 나머지 순차적 워크로드 성능을 절반으로 줄일 수 있으며, HDD를 낮은 성능의 사용 사례로 대체했습니다. 기업들은 대규모 시스템을 구축하기 위해 24TB-28TB HDD를 사용하는 경우가 많습니다. 그러나 이러한 디바이스로 증가하는 TB 수요당 성능을 충족하는 것은 전투를 잃고 있습니다.
최근 Meta 엔지니어링 블로그는 현재 HDD 스케일링의 근본적인 결함을 간과하고 있습니다. 테라바이트당 성능(BW/TB)이 감소하고 있습니다. 디스크 용량이 증가함에 따라 플래터를 추가하거나 트랙 간 공간을 줄임으로써 용량이 증가함에 따라 처리량이 그에 따라 확장되지 않습니다. 그 결과는? 엔지니어들은 대역폭 요구 사항을 충족하기 위해 HDD를 오버프로비저닝하거나 고가의 SSD 계층으로 핫데이터를 오프로드해야 하는데, 이는 모두 비용과 복잡성을 초래합니다. Meta는 궁극적으로 HDD가 더 이상 아카이브 또는 용량 중심 워크로드의 요구를 충족할 수 없다는 결론을 내렸으며, 이를 완전히 가속화하고 있습니다.
그림 1: HDD 용량이 증가함에 따라 테라바이트당 처리량이 급격히 감소합니다. 소스.
Meta의 측정 결과에 따르면 HDD 용량이 증가함에 따라 테라바이트당 처리량이 크게 감소하여 12TB의 경우 15MBps/TB 이상에서 30TB의 경우 6MBps/TB 미만으로 떨어졌습니다. 30TB 이러한 추세는 용량 중심의 애플리케이션에서도 HDD를 사용할 수 없게 만드는 스토리지당 성능 저하를 강조합니다.
이러한 붕괴는 각주가 아닙니다. 이는 위협입니다. 실제로 데이터 센터 HDD의 시작을 의미합니다.Tom의 하드웨어는 이러한 궤적을 강화하여 2019년에도 중간 계층 SATA SSD는 고성능 HDD보다 처리량이 두 배 더 많으며 NVMe SSD는 10~15배의 성능을 제공합니다. 성능 요구 사항이 증가하는 워크로드의 경우, HDD는 지난 5년 동안 점점 더 중요하지 않게 되었습니다.
업계의 마지막 입지와 플래시 현실
HDD 제조업체들은 플래시 스토리지의 끊임없는 부상에 맞서 싸우고 있습니다. HDD와 SSD 간의 성능 격차는 점점 더 뚜렷해지고 있으며, 특히 데이터 집약적인 워크로드에서도 더욱 그러합니다. HDD는 여전히 대용량 콜콜드 스토리지(cold storage)에 사용할 수 있지만, 액티브 데이터 처리에서 HDD의 역할은 줄어들고 있습니다. 제조업체는 열 보조 자기 기록(HAMR) 및 마이크로파 보조 자기 기록(MAMR)과 같은 기술을 도입하여 HDD를 관련성 있게 유지하려고 시도하고 있지만, 이러한 노력은 중간에서 낮은 성능의 환경에서 HDD의 불가피한 감소를 연장하기 위한 마지막 시도로 보입니다.
또한 HDD 제조업체들은 전력 효율성 주장을 사용하려고 했지만, 톰의 하드웨어 전력 소비 테스트에서 강조한 바와 같이 HDD는 유휴 작업에 약간 적은 전력을 소비하지만 전반적인 효율성은 SSD보다 낮습니다. 톰의 하드웨어 기사는 HDD 문제의 구체적인 예를 제시했습니다. WD Black HDD는 지속적인 쓰기 중에 합리적인 전력 대 성능 비율을 제공하지만, MX500 및 SN750과 같은 SSD는 액티브 사용 및 유휴 상태 모두에서 와트당 훨씬 더 높은 전력 효율성을 제공하여 현대적인 데이터센터에 보다 지속 가능한 선택이 될 수 있도록 합니다. HDD의 성능 한계는 비용 절감의 장점과 결합되어 플래시 스토리지가 저, 중, 고성능 컴퓨팅 및 스토리지의 미래를 지배할 것이라는 점을 분명히 합니다.
Meta의 전환은 신호입니다. HDD의 멸종은 원격 예측이 아닙니다. 현재 일어나고 있습니다. HDD와 SSD 간의 성능 격차가 증가하고 있습니다. 특히 핫데이터를 위해 고성능 스토리지가 필요한 환경에서는 Meta 및 기타 데이터센터가 더 나은 밀도, 성능 및 전력 효율성을 위해 플래시 스토리지를 선택해야 합니다. HDD의 TB당 성능 저하가 데이터 센터의 진화하는 요구에 점점 더 적합하지 않다고 판단했습니다. 이로 인해 업계가 HDD에서 벗어나 보다 효율적이고 성능이 뛰어난 SSD 솔루션을 도입하는 추세가 더욱 확대되었습니다.
HDD: 성능 없는 용량
HDD의 마지막 안식처는 낮은 $/GB와 대용량이었습니다. 그러나 지난 몇 년 동안 이러한 난민조차 빠르게 침식되고 있습니다. 많은 엔터프라이즈 워크로드의 경우, HDD로는 더 이상 최소 성능 임계값을 달성할 수 없습니다. 조금 후에 보여드리겠습니다. 48GB/s의 처리량 목표를 달성하기 위해 28TB HDD로 구축된 4.8PB 시스템은 240개 이상의 디바이스가 필요합니다. 이는 용량 요구 사항만 충족하는 데 필요한 수의 두 배 이상입니다. 소형 블록 I/O의 경우, 이야기가 악화됩니다. 적당한 200,000 IOPS 워크로드에는 800개 이상의 하드 드라이브가 필요할 수 있습니다.
반면, 최신 QLC SSD는 용량과 성능을 모두 제공할 수 있습니다. 4.8PB 시스템은 100개 미만의 디바이스로 구축되어 전력, 공간 및 CO2e 영향을 줄이면서 동일하거나 더 나은 처리량을 달성할 수 있습니다. 더 나은 안정성, 더 긴 수명 주기 및 더 낮은 고장률이라는 추가적인 이점은 여기에 포함되지 않습니다.
시스템 수준의 비교를 통해 실제 사례를 알 수 있습니다.
하버드 대학교와 Meta의 최근 연구 논문에 따르면, 스토리지 기술에 기가바이트당 탄소 발자국이 구현되어 있는 것은 매우 다양합니다.
- HDD: 모델 및 사용 사례에 따라 1.14~20.5g CO2e/GB 범위 Seagate Exos X16과 같은 일반적인 엔터프라이즈 HDD는 1.33g CO2e/GB 범위에 속합니다.
- SSD: Seagate Nytro 3530은 6.21 g CO2e/GB, Western Digital의 2019 SSD는 10.7 g CO2e/GB로, 3.95~30 g CO2e/GB의 일반적인 엔터프라이즈 SSD를 지원합니다.
위에 나열된 특정 제품에 대한 GB당 g CO2e 값은 다음과 같습니다.
- HDD: TB당 ~1.33kg CO2e
- SSD: TB당 ~6.21~10.7kg CO2e
이러한 수치는 HDD 제조업체들이 디바이스 대비 디바이스 비교에 계속 집중하는 이유를 강조합니다. 그러나 엔터프라이즈 데이터센터 스토리지의 경우, 시스템 수준에서 구현된 총 CO2e 영향을 평가하는 것이 훨씬 더 타당합니다. 플래시 기반 스토리지 시스템은 성능 목표를 달성하기 위해 훨씬 더 적은 디바이스가 필요하기 때문에 GB당 더 높은 강도에도 불구하고 전체 탄소 발자국이 더 적습니다.
아래 표에서는 HDD 애플리케이션에 대해 Meta 엔지니어링 블로그에 설명된 10MB/s/TB 성능 범위와 TB당 HDD 처리량 그래프를 사용하여 유효 용량이 4.8PB인 HDD 2개, SSD 2개 및 DFM(DirectFlash) 시스템 2개를 구축했습니다.DFM 표 하단에는 Harvard/Meta 연구의 TB 당 구현 CO2e 값을 적용했습니다.
그림 3: Harvard/Meta 연구에서 업데이트된 값을 사용하여 다양한 유형의 시스템의 장치 수와 구현된 CO2e 비교.
그림 3에서 볼 수 있듯이, HDD는 유효 용량이 4.8PB인 48GB/s 시스템에 286개 이상의 디바이스가 필요하며, 30TB SSD 및 DFM 시스템은 100개 미만이 필요합니다. 10년 동안 시스템 수준에서 구현된 CO2e를 비교하면 훨씬 다른 이야기를 할 수 있습니다. HDD 업계가 생각하기에 8배의 차이가 아닌, SSD 총계는 2배 미만입니다. 퓨어스토리지 DFM을 위해 구현된 시스템 수준의 CO2e는 HDD 시스템보다 약간 낮습니다.
시스템 수준의 전력 소비로 인한 배출량을 고려하면 탄소 배출량 비교가 더욱 명확해집니다. 아래 그림 4는 그림 3과 동일한 필수 장치 수 및 드라이브 용량을 가정합니다. 이러한 값은 HDD의 경우 8:1 확장 셀프 대 메인 섀시 비율, SSD의 경우 4:1 비율을 사용하여 전력 소비를 계산하는 데 사용됩니다. 10년 이상 HDD 시스템은 DFM을 통해 구축된 시스템의 거의 두 배의 전력을 소비하며, 훨씬 더 많은 랙 공간을 필요로 하고, 훨씬 더 구체화된 운영 CO2e 및 전자 폐기물을 생성합니다. 이 이야기는 IOPS가 높거나 순차적 처리량이 높은 워크로드를 포함한 다양한 워크로드에 걸쳐 반복됩니다.
그림 4: 연간 시스템 수준의 전력 및 운영상의 배기가스 영향
구현된 탄소 수렴을 가속화하는 여러 가지 동인
이 두 파트의 블로그를 시작했을 때, HDD와 SSD의 탄소 배출량을 비교한 2017년 논문을 참조했습니다. 2017년 논문은 출판 이후 여러 번 인용되었습니다. 2017년 결과를 하버드 및 Meta 논문의 최신 추정치와 비교해 보면, 개선은 매우 어려웠습니다.
그림 5: 2017 위스콘신 대학교 연구와 2022 하버드/Meta 연구의 결과 비교.
플래시 집적도는 지난 5~10년 동안 크게 향상되어 HDD와의 격차를 줄였습니다. 그러나, HDD 시스템은 플래시의 발전과 더 큰 장점에 주목하면서 HDD 공급업체의 메시지 전달을 통해 HDD 기술 개선이 크게 이루어졌습니다. 플래시는 HDD보다 밀도 향상에 앞장서며, 풍력, 태양열 또는 원자력과 같은 에너지원에서 생산 시 저탄소 에너지를 사용하여 구현된 배출량을 줄일 수 있는 잠재력을 제공합니다. 반면, HDD는 코발트 및 네오디뮴과 같은 소재에 의존하며, 에너지원에 관계없이 추출에 큰 영향을 미칩니다.
결론
HDD 업계는 글이 틀에 박혀 있다는 사실을 잘 알고 있습니다. 이러한 이유로 일부 벤더들은 점점 더 절실하고 오해의 소지가 있는 비교를 하고 있으며, 종종 단순한 $/GB 마케팅을 위해 시스템 수준의 현실을 무시하고 있습니다. 이러한 주장은 불가피한 상황을 지연시킬 수 있지만, 궤적을 변화시키지는 않습니다. 엔터프라이즈, 하이퍼스케일러 및 지속 가능성에 중점을 둔 조직은 플래시, 특히 용량이 많은 워크로드에 대한 비용과 성능의 균형을 맞추는 QLC SSD로 결정적으로 전환하고 있습니다.
개별 HDD와 SSD를 비교하면 요점을 놓치고 있습니다. 시스템 수준에서 플래시는 속도와 밀도뿐만 아니라 지속 가능성, 비용 및 안정성 측면에서 HDD보다 뛰어난 성능을 제공합니다. HDD의TB당 성능 붕괴로 인해 많은 엔터프라이즈 요구사항에 구식이 되었습니다. Meta와 다른 사람들은 이미 전환하고 있으며, 그 이유는 다음과 같습니다. 플래시 스토리지는 모든 측면에서 더 나은 결과를 제공합니다. 플래시 스토리지 옵션, 특히 퓨어스토리지 DFM으로 구축된 옵션은 기존 HDD 시스템에 비해 훨씬 적은 수의 디바이스, 에너지 소비 및 구현된 CO2e 배출량을 제공합니다. 기업이 지속 가능성을 우선시함에 따라, 보다 효율적인 스토리지 솔루션을 도입하면 탄소 발자국을 줄일 뿐만 아니라 비용과 인프라 요구도 줄일 수 있습니다. 이제 다음 단계로 넘어갈 시간입니다.
Less, but Better
Learn how you can improve data center sustainability with Pure Storage.
