Wie schneidet der Embodied Carbon in Flash im Vergleich zu Festplatten ab?: Teil 2

Die Studie der University of Wisconsin, auf die in Teil 1 dieser Blogreihe Bezug genommen wurde, verglich CO2e (auch bekannt als Herstellungsemissionen) auf Storage-Geräteebene. Für Lösungen, die nur ein einziges Gerät benötigen, um die Performance- und Kapazitätsanforderungen zu erfüllen, kann dies ein gültiger Vergleich selbst mit den neuesten Werten für CO2e pro Gerät sein. In Unternehmenssystemen sind solche direkten Vergleiche zwischen Geräten jedoch oft irreführend. Performance und Kapazität skalieren über Storage-Technologien hinweg unterschiedlich, und das Ignorieren dieser Dynamik auf Systemebene führt zu fehlerhaften Schlussfolgerungen.

Um einen aussagekräftigen Vergleich zwischen Enterprise-Storage-Systemen zu erstellen, müssen wir mit den Performance- und Kapazitätsanforderungen auf Systemebene beginnen und dann Konfigurationen erstellen, die diese Anforderungen mit HDDs oder SSDs erfüllen. Flash-Storage-Systeme bieten nicht nur eine höhere Kapazitätsauslastung, sondern auch eine Inline-Datenreduktion bei minimalen Performance-Einbußen. Und da SSDs mehr Dichte pro Gerät packen, werden weniger Einheiten für eine bestimmte Systemkapazität benötigt. Auf der anderen Seite erfordert eine geringere Performance bei Festplatten oft einen Überschuss an Laufwerken, um die Durchsatzanforderungen zu erfüllen. Dadurch werden Kosten, Strom, verkörperte und betriebliche Emissionen sowie Elektroschrott drastisch erhöht.

Der Ausfall der HDD-Performance pro Terabyte

Um zu verstehen, warum beim Vergleich von Storage-Systemen solche drastischen Steigerungen stattfinden, müssen wir zunächst die HDD-Performance berücksichtigen. Obwohl HDDs je nach Schnittstelle und Rotationsgeschwindigkeit in der Performance unterschiedlich sind, liegen selbst die schnellsten Festplatten von heute bei etwa 200-300MB/s oder 200 bis 300 IOPS. Interessanterweise kann die Verwendung hoher Queue-Tiefen oder eines ungeschützten Write-Back-Cache die IOPS von HDD svon der Basis von etwa 200 bis 300 IOPS im Bereich von 500 oder sogar 1.000 IOPS verbessern. Für technische Marketingaussagen und Produktdatenblätter sind diese Verbesserungen eine bonanza. Leider sind sie in Bezug auf die durchschnittlichen Latenzzeiten und die Latenzzeiten sehr teuer. Wie dieser Artikel von Tom’s Hardware zeigt, ist die Performance immer noch um ein paar Größenordnungen niedriger als jetzt sechs Jahre alte SSDs. Und dies sind die besten Szenarien für HDDs. Real-World-Workloads mit nur einem kleinen Bruchteil von zufälligen Small-Block-I/O können die verbleibende sequenzielle Workload-Performance halbieren, wodurch HDD an Anwendungsfälle mit geringer Performance-Kapazität delegiert wurde. Für den Aufbau großer Systeme verwenden Unternehmen häufig HDDs mit 24TB-28TB. Aber die wachsende Performance pro TB-Anforderungen mit diesen Geräten zu erfüllen, ist ein Verlust.

In einem kürzlich erschienenen Meta-Engineering-Blog wird der grundlegende Fehler bei der aktuellen HDD-Skalierung aufgedeckt: Die Performance pro Terabyte (BW/TB) bricht zusammen. Wenn die Festplattenkapazitäten wachsen, skaliert ihr Durchsatz nicht entsprechend, wenn die Kapazitätssteigerung durch Hinzufügen von Platten oder durch Verringern des Platzes zwischen den Bahnen erreicht wird. Das Ergebnis? Ingenieure sind gezwungen, HDDs zu überprovisionieren, um Bandbreitenanforderungen zu erfüllen oder heiße Daten auf teure SSD-Tiers zu übertragen – beides bringt Kosten und Komplexität mit sich. Meta kam schließlich zu dem Schluss, dass HDDs die Anforderungen selbst von archivierten oder kapazitätszentrierten Workloads nicht mehr erfüllen konnten und ihren Weg von ihnen ganz beschleunigen.

Abbildung 1: Anhaltender Durchsatz pro Terabyte nimmt mit steigender HDD-Kapazität stark ab. Quelle.

Die Messungen von Meta zeigen, dass der Durchsatz pro Terabyte mit zunehmender HDD-Kapazität deutlich abnimmt – von über 15 MBps/TB bei 12TB auf unter 6 MBps/TB bei 30TB. Dieser Trend unterstreicht die sinkende Performance pro TB, die HDDs selbst für kapazitätszentrierte Anwendungen unbrauchbar macht.

Dieser Zusammenbruch ist keine Fußnote, sondern eine existenzielle Bedrohung. Tatsächlich ist dies der Anfang des Endes für HDDs im Rechenzentrum.Toms Hardware unterstreicht diesen Verlauf und zeigt, dass selbst 2019 Mid-Tier-SATA-SSDs den Durchsatz von Hochleistungs-HDDs verdoppeln, während NVMe-SSDs die 10- bis 15-fache Performance bieten. Bei Workloads mit wachsenden Performance-Anforderungen sind HDDs in den letzten fünf Jahren immer irrelevanter geworden.

Der letzte Stand der Branche – und die Flash-Reality

HDD-Hersteller kämpfen gegen den unermüdlichen Anstieg von Flash-Storage. Die Performance-Lücke zwischen HDDs und SSDs wird immer deutlicher, insbesondere bei leicht datenintensiven Workloads. Während HDDs immer noch für Massen- und Kaltspeicherung geeignet sind, nimmt ihre Rolle bei der aktiven Datenverarbeitung ab. Hersteller versuchen, HDDs relevant zu halten, indem sie Technologien wie hitzegestützte magnetische Aufzeichnung (HAMR) und mikrowellengestützte magnetische Aufzeichnung (MAMR) einführen, aber diese Bemühungen scheinen ein letzter Versuch zu sein, den unvermeidlichen Rückgang von HDDs in Umgebungen mit mittlerer bis niedriger Performance zu verlängern.

Hersteller von HDDs haben auch versucht, ein Energieeffizienzargument zu verwenden, aber während HDDs etwas weniger Strom für Leerlaufvorgänge verbrauchen, wie in den Stromverbrauchstests von Tom Hardware hervorgehoben, ist ihre Gesamteffizienz der von SSDs unterlegen. Der Hardware-Artikel von Tom lieferte ein konkretes Beispiel für das Problem für HDD. Obwohl die WD Black HDD ein angemessenes Leistungsverhältnis bei anhaltenden Schreibvorgängen bietet, bieten SSDs wie der MX500 und SN750 eine wesentlich bessere Energieeffizienz pro Watt sowohl bei aktiver Nutzung als auch bei Leerlaufzuständen, was sie zu einer nachhaltigeren Wahl für moderne Rechenzentren macht. Die Performance-Einschränkungen von HDDs, die durch den geringeren Kostenvorteil noch verstärkt werden, machen deutlich, dass Flash-Storage die Zukunft von Low-, Mid- und High-Performance-Computing und -Storage dominieren wird.

Metas Übergang ist ein Signal. Der Untergang der HDD ist keine weit entfernte Prognose – er findet jetzt statt. Die wachsende Performance-Lücke zwischen HDDs und SSDs, insbesondere in Umgebungen, in denen Hochleistungs-Storage für heiße Daten erforderlich ist, zwingt Meta und andere Rechenzentren dazu, sich für Flash-Storage zu entscheiden, um die Dichte, Performance und Energieeffizienz zu verbessern.  Sie stellten fest, dass die abnehmende Performance pro TB HDD zunehmend für die sich entwickelnden Anforderungen von Rechenzentren ungeeignet ist. Dies hat zu dem breiteren Branchentrend geführt, sich von HDDs zu entfernen, anstatt effizientere, leistungsfähigere SSD-Lösungen zu nutzen.

Festplatten: Kapazität ohne Performance – und selbst das scheitert

Der letzte Zufluchtsort für HDDs war ihr niedriger Wert von $/GB und ihre hohe Kapazität. Aber selbst dieser Zufluchtsort hat sich in den letzten Jahren rasant erobert. Bei vielen Unternehmens-Workloads sind selbst minimale Performance-Schwellenwerte mit HDDs nicht mehr erreichbar. Wie ich etwas später zeigen werde, würde ein System mit 48GB,8 PB, das aus 28TB-Festplatten gebaut wurde, mehr als 240 Geräte benötigen – mehr als das Doppelte der Anzahl, die allein erforderlich ist, um die Kapazitätsanforderungen zu erfüllen. Bei Small Block I/O verschlechtert sich die Geschichte: Eine bescheidene Workload von 200.000 IOPS kann mehr als 800 Festplatten erfordern.

Im Gegensatz dazu können moderne QLC-SSDs sowohl Kapazität als auch Performance bieten. Ein 4,8-PB-System kann aus weniger als 100 Geräten aufgebaut werden und erzielt denselben oder einen besseren Durchsatz bei weniger Strom-, Platz- und CO2e-Einbußen. Und das schließt nicht die zusätzlichen Vorteile einer besseren Zuverlässigkeit, längerer Lebensdauer und geringerer Ausfallraten ein.

Vergleiche auf Systemebene erzählen die wahre Geschichte

Laut einem kürzlich von der Harvard University and Meta veröffentlichten Forschungspapier variiert der CO2-Fußabdruck pro Gigabyte für Storage-Technologien stark:

• Festplatten: Bereich von 1,14 bis 20,5 g CO2e/GB, je nach Modell und Anwendungsfall. Gängige Unternehmens-HDDs wie Seagate Exos X16 fallen in die CO2e/GB-Reihe von 1,33 g.
  
• SSDs: Bereich von 3,95 bis 30 g CO2e/GB, mit typischen Unternehmens-SSDs wie dem Seagate Nytro 3530 bei 6,21 g CO2e/GB und den SSDs 2019 von Western Digital bei 10,7 g CO2e/GB.

Die g CO2e-Werte pro GB für die oben aufgeführten spezifischen Produkte bedeuten:

• Festplatten: ~1,33 kg CO2e pro TB
  
• SSDs: ~6,21 bis 10,7 kg CO2e pro TB

Diese Zahlen unterstreichen, warum sich HDD-Hersteller weiterhin auf Geräte- und Gerätevergleiche konzentrieren. Für den Storage von Unternehmensrechenzentren ist es jedoch viel sinnvoller, die gesamten CO2e-Auswirkungen auf Systemebene zu bewerten, bei denen Flash-basierte Storage-Systeme viel weniger Geräte benötigen, um die Leistungsziele zu erreichen und somit trotz einer höheren Intensität pro GB insgesamt einen geringeren CO2-Fußabdruck zu erzeugen.

In der folgenden Tabelle habe ich den im Meta-Engineering-Blog beschriebenen Leistungsbereich von 10 MB/s/TB für ihre HDD-Anwendungen und ihren Graphen des HDD-Durchsatzes pro TB verwendet, um zwei HDD-, zwei SSD- und zwei DirectFlash®-Modul-Systeme (DFM) mit einer effektiven Kapazität von 4,8 PB aufzubauen. Unten in der Tabelle habe ich die CO2e-Werte pro TB aus der Harvard/Meta-Studie angewendet. 

Abbildung 3: Vergleich der Geräteanzahl und des enthaltenen CO2e verschiedener Arten von Systemen mit aktualisierten Werten aus der Harvard/Meta-Studie.

Wie in Abbildung 3 dargestellt, benötigen HDDs mehr als 286 Geräte für ein System mit 48GB/s und einer effektiven Kapazität von 4,8 PB, während SSDs und DFM-Systeme mit 30TB weniger als 100 benötigen. Der Vergleich des enthaltenen CO2e auf Systemebene über einen Zeitraum von 10 Jahren erzählt uns eine ganz andere Geschichte. Anstelle eines 8-fachen Unterschieds, den die HDD-Branche Ihrer Meinung nach hätte, ist die SSD-Gesamtsumme weniger als 2-mal höher. Bemerkenswerterweise ist der CO2e auf Systemebene für Pure Storage DFM etwas niedriger als das HDD-System.  

Wenn wir die Emissionen aus dem Stromverbrauch auf Systemebene betrachten, wird der Vergleich der Kohlenstoffemissionen noch klarer. Abbildung 4 unten geht von denselben erforderlichen Geräteanzahlen und Laufwerkkapazitäten aus wie Abbildung 3. Diese Werte werden verwendet, um den Stromverbrauch mit einem Erweiterungsregal von 8:1 zum Hauptgehäuseverhältnis für HDD und einem Verhältnis von 4:1 für SSD zu berechnen. Über 10 Jahre hinweg verbrauchen HDD-Systeme fast doppelt so viel Strom wie Systeme, die mit DFM gebaut wurden, benötigen wesentlich mehr Rack-Platz und erzeugen wesentlich mehr verkörperten, betriebsbereiten CO2e und Elektroschrott. Diese Geschichte wiederholt sich über unterschiedliche Workloads hinweg, einschließlich solcher mit hohem IOPS- oder sequentiellen Durchsatz.

Abbildung 4: Jährliche Auswirkungen auf Strom und betriebliche Emissionen auf Systemebene.

Mehrere Treiber beschleunigen die Konvergenz von verkörpertem Kohlenstoff

Als ich diesen zweiteiligen Blog begann, verwies ich auf eine Arbeit aus dem Jahr 2017, in der der enthaltene Kohlenstoff von HDD und SSD verglichen wurde. Die Arbeit von 2017 wurde seit der Veröffentlichung mehrfach zitiert. Wenn ich die Ergebnisse von 2017 mit neueren Schätzungen aus dem Harvard- und Meta-Paper vergleiche, sind die Verbesserungen ziemlich stark.   

Abbildung 5: Vergleich der Ergebnisse aus der Studie der University of Wisconsin von 2017 und der Harvard/Meta-Studie von 2022.

Die Flash-Dichte hat sich in den letzten 5 bis 10 Jahren deutlich verbessert und die Lücke bei HDDs verkleinert. HDD-Systembewertungen und HDD-Anbieter-Messaging stoßen jedoch in hohem Maße auf bescheidene Verbesserungen der HDD-Technologie hin und lenken gleichzeitig den Blick auf die Fortschritte im Bereich Flash und seine breiteren Vorteile. Flash übertrifft HDD nicht nur bei der Verbesserung der Dichte, sondern bietet auch ein weiteres Potenzial zur Reduzierung verkörperter Emissionen durch den Einsatz von kohlenstoffarmer Energie in der Fertigung aus Quellen wie Wind, Sonne oder Kernkraft. Im Gegensatz dazu verlassen sich HDDs auf Materialien wie Kobalt und Neodym, deren Extraktionsauswirkungen unabhängig von der Energiequelle hoch bleiben.

Fazit

Die HDD-Branche weiß, dass das Schreiben an der Wand liegt. Deshalb führen einige Anbieter zunehmend verzweifelte und irreführende Vergleiche durch und ignorieren oft die Realitäten auf Systemebene zugunsten eines vereinfachten $/GB-Marketings. Diese Argumente könnten das Unvermeidliche verzögern, aber sie werden den Verlauf nicht verändern. Unternehmen, Hyperscaler und nachhaltigkeitsorientierte Unternehmen wechseln entscheidend zu Flash – insbesondere QLC-SSDs, die Kosten und Performance für kapazitätsreiche Workloads ausgleichen.

Der Vergleich einzelner HDDs mit SSDs verfehlt den Punkt. Auf Systemebene übertrifft Flash HDDs nicht nur in Bezug auf Geschwindigkeit und Dichte, sondern auch in Bezug auf Nachhaltigkeit, Kosten und Zuverlässigkeit. Der Zusammenbruch der Performance pro TB bei HDDs hat sie für viele Unternehmensanforderungen veraltet gemacht. Meta und andere machen bereits den Übergang, und das aus gutem Grund: Flash-Storage liefert bessere Ergebnisse an jeder Front. Flash-Storage-Optionen, insbesondere solche, die mit Pure Storage DFM erstellt wurden, führen im Vergleich zu herkömmlichen HDD-Systemen zu viel weniger Geräten, einem geringeren Energieverbrauch und deutlich niedrigeren CO2e-Emissionen. Da Unternehmen weiterhin Nachhaltigkeit priorisieren, wird die Einführung effizienterer Storage-Lösungen nicht nur den CO2-Fußabdruck reduzieren, sondern auch die Kosten und den Infrastrukturbedarf senken. Es ist an der Zeit, fortzufahren.