¿Cómo se compara el carbono incorporado en Flash con los discos duros?: 2ª parte

El estudio de la Universidad de Wisconsin mencionado en la Parte 1 de esta serie de blog comparaba el CO2e incorporado (también conocido como emisiones de fabricación) a nivel de dispositivo de almacenamiento. Para las soluciones que solo necesitan un dispositivo para cumplir los requisitos de rendimiento y capacidad, puede ser una comparación válida incluso con los valores más recientes de CO2e por dispositivo. Pero en los sistemas empresariales, estas comparaciones directas de dispositivo a dispositivo suelen ser engañosas. El rendimiento y la capacidad se escalan de manera diferente en todas las tecnologías de almacenamiento e ignorar esta dinámica a nivel del sistema lleva a conclusiones erróneas.

Para realizar una comparación significativa entre los sistemas de almacenamiento empresarial, debemos empezar con los requisitos de rendimiento y capacidad a nivel del sistema y luego construir configuraciones que cumplan esos requisitos usando HDD o SSD. Los sistemas de almacenamiento flash no solo ofrecen una mayor utilización de la capacidad, sino también una reducción de los datos en línea con unas penalizaciones mínimas en el rendimiento. Y como las unidades de estado sólido contienen más densidad por dispositivo, se necesitan menos unidades para una capacidad de sistema determinada. Por otro lado, un menor rendimiento en las unidades de disco duro suele exigir un exceso de unidades para satisfacer los requisitos de rendimiento. Esto aumenta drásticamente los costes, la energía, las emisiones incorporadas y operativas, así como los residuos electrónicos.

El colapso del rendimiento del HDD por terabyte

Para entender por qué se están produciendo estos aumentos tan drásticos cuando comparamos los sistemas de almacenamiento, primero debemos tener en cuenta el rendimiento de la HDD. Si bien las unidades de disco duro tienen un rendimiento distinto en función de su interfaz y su velocidad de rotación, incluso las unidades más rápidas de la actualidad superan los 200-300MB/s o 200-300 IOPS. Curiosamente, el uso de unas profundidades de cola altas o de una caché de escritura desprotegida puede mejorar las IOPS del HDD desde su base de unas 200-300 IOPS hasta un rango de 500 o incluso 1000 IOPS. Para las declaraciones técnicas de marketing y las hojas de especificaciones de los productos, estas mejoras son una ventaja. Lamentablemente, tienen un coste muy alto en términos de latencias medias y de cola. Tal como muestra este artículo de Hardware de Tom, el rendimiento sigue siendo un par de órdenes de magnitud más bajo que las SSD de seis años de antigüedad. Y estos son los escenarios más adecuados para los discos duros. Las cargas de trabajo del mundo real con incluso una pequeña fracción de I/O de bloques pequeños aleatorias pueden reducir a la mitad el rendimiento restante de las cargas de trabajo secuenciales, lo que ha relegado la HDD a casos de uso de baja capacidad. Para crear sistemas a gran escala, las empresas suelen usar discos duros de 24TB-28TB. Pero satisfacer las crecientes demandas de rendimiento por TB con estos dispositivos es una batalla perdedora.

Un reciente blog de ingeniería de Meta pone de manifiesto el fallo fundamental del escalamiento actual de la HDD: el rendimiento por terabyte (BW/TB) se está colapsando. A medida que las capacidades del disco crecen, su rendimiento no se escala en consecuencia, ya que los aumentos de capacidad se logran añadiendo platos o disminuyendo el espacio entre pistas. ¿El resultado? Los ingenieros se ven obligados a sobreaprovisionar las unidades de disco duro para satisfacer los requisitos de ancho de banda o descargar los datos calientes a niveles caros de la unidad de estado sólido, lo que introduce costes y complejidades. En última instancia, Meta concluyó que las HDD ya no podían satisfacer las necesidades de las cargas de trabajo ni siquiera de archivo o centradas en la capacidad y está acelerando por completo su distancia de ellas.

Figura 1: El rendimiento sostenido por terabyte cae drásticamente con el aumento de la capacidad de la HDD. Fuente.

Las mediciones de Meta muestran que, a medida que aumenta la capacidad de la HDD, el rendimiento por terabyte disminuye significativamente —y cae de más de 15 MBps/TB a 12TB a menos de 6 MBps/TB a 30TB—. Esta tendencia subraya el colapso del rendimiento por TB que hace que los discos duros sean inviables incluso para las aplicaciones centradas en la capacidad.

Este colapso no es una nota al pie, es una amenaza existencial. De hecho, marca el principio del final de las unidades de disco duro en el centro de datos.El hardware de Tom refuerza esta trayectoria, lo que demuestra que incluso en 2019, las unidades de estado sólido SATA de nivel medio duplican el rendimiento de las unidades de disco duro de alto rendimiento, mientras que las unidades de estado sólido NVMe proporcionan de 10 a 15 veces el rendimiento. Para las cargas de trabajo con unas necesidades de rendimiento cada vez mayores, los discos duros se han ido volviendo cada vez más irrelevantes en los últimos cinco años.

La última posición del sector —y la realidad flash—

Los fabricantes de HDD están luchando contra el auge incesante del almacenamiento flash. La brecha de rendimiento entre las unidades de disco duro y las unidades de estado sólido es cada vez más evidente, sobre todo en las cargas de trabajo que consumen un poco más de datos. Si bien las HDD siguen siendo viables para el almacenamiento masivo y en frío, su papel en el procesamiento activo de datos está disminuyendo. Los fabricantes tratan de mantener la relevancia de las unidades de disco duro introduciendo tecnologías como la grabación magnética asistida por calor (HAMR) y la grabación magnética asistida por microondas (MAMR), pero estos esfuerzos parecen ser un último intento de prolongar el inevitable descenso de las unidades de disco duro en entornos de rendimiento medio a bajo.

Los fabricantes de discos duros también han intentado usar un argumento de eficiencia energética, pero aunque los discos duros consumen un poco menos de energía para las operaciones inactivas, como se destaca en las pruebas de consumo energético del hardware de Tom, su eficiencia general es inferior a la de las unidades de estado sólido. El artículo de Tom sobre hardware ha proporcionado un ejemplo concreto del problema de la HDD —aunque la unidad de HDD WD Black ofrece una relación potencia-rendimiento razonable durante las escrituras constantes, las unidades de estado sólido como la MX500 y la SN750 ofrecen una eficiencia energética mucho mejor por vatio durante el uso activo y los estados inactivos, lo que las convierte en una opción más sostenible para los centros de datos modernos. Las limitaciones de rendimiento de las unidades de disco duro, agravadas por la menor ventaja en cuanto a costes, dejan claro que el almacenamiento flash dominará el futuro de la computación y el almacenamiento de bajo, medio y alto rendimiento.

La transición de Meta es una señal. La desaparición de la HDD no es una previsión a distancia, sino que está sucediendo ahora. La creciente brecha de rendimiento entre las unidades de disco duro y las unidades de estado sólido, especialmente en entornos que requieren un almacenamiento de alto rendimiento para los datos calientes, obliga a Meta y a otros centros de datos a recurrir al almacenamiento flash por su mejor densidad, rendimiento y eficiencia energética.  Determinaron que el rendimiento cada vez menor por TB de HDD es cada vez más inadecuado para las necesidades cambiantes de los centros de datos. Esto ha hecho que la tendencia más amplia del sector de dejar de lado las unidades de disco duro sea favorable a unas soluciones de SSD más eficientes y de mayor rendimiento.

HDD: Capacidad sin rendimiento — e incluso eso es un fallo

El último remanso de las unidades de disco duro ha sido su bajo coste de $/GB y su gran capacidad. Pero incluso ese refugio se ha erosionado rápidamente en los últimos años. Para muchas cargas de trabajo empresariales, ni siquiera los umbrales mínimos de rendimiento se pueden alcanzar con los discos duros. Como mostraré un poco más tarde, para cumplir un objetivo de rendimiento de 48GB/s, un sistema de 4,8 PB creado a partir de discos duros de 28TB requeriría más de 240 dispositivos —más del doble del recuento necesario para cumplir solo los requisitos de capacidad—. Para I/O de bloques pequeños, la historia empeora: Una carga de trabajo modesta de 200.000 IOPS puede requerir más de 800 discos duros.

Por el contrario, las SSD QLC modernas pueden proporcionar capacidad y rendimiento. Un sistema de 4,8 PB puede construirse a partir de menos de 100 dispositivos, logrando el mismo o mejor rendimiento con menos energía, espacio e impacto de CO2e. Y eso no incluye las ventajas adicionales de una mayor fiabilidad, unos ciclos de vida más largos y unas tasas de fallos más bajas.

Las comparaciones a nivel de sistema cuentan la historia real

Según un estudio reciente de la Universidad de Harvard y Meta, la huella de carbono incorporada por gigabyte para las tecnologías de almacenamiento varía ampliamente:

• HDD: Varía de 1,14 a 20,5 g de CO2e/GB, en función del modelo y el caso de uso. Las unidades de disco duro empresariales comunes, como Seagate Exos X16, se encuentran en la gama de 1,33 g de CO2e/GB.
  
• SSD: Varía de 3,95 a 30 g de CO2e/GB, con SSD empresariales típicas como la Seagate Nytro 3530 a 6,21 g de CO2e/GB y las SSD de 2019 de Western Digital a 10,7 g de CO2e/GB.

Los valores de g CO2e por GB para los productos específicos enumerados anteriormente se traducen en:

• HDD: ~1,33 kg de CO2e por TB
  
• SSD: ~6,21 a 10,7 kg de CO2e por TB

Estas cifras ponen de relieve por qué los fabricantes de HDD siguen centrándose en las comparaciones entre dispositivos. Sin embargo, para el almacenamiento de centros de datos empresariales, tiene mucho más sentido evaluar el impacto total del CO2e incorporado a nivel del sistema —donde los sistemas de almacenamiento basados en flash necesitan muchos menos dispositivos para cumplir los objetivos de rendimiento y, por lo tanto, producir una menor huella de carbono global a pesar de una mayor intensidad por GB—.

En la tabla siguiente, he utilizado la gama de rendimiento de 10 MB/s/TB descrita en el blog de ingeniería de Meta para sus aplicaciones de HDD y su gráfico de rendimiento de HDD por TB para construir dos sistemas de HDD, dos SSD y dos de Módulo DirectFlash® (DFM) con una capacidad efectiva de 4,8 PB. En la parte inferior de la tabla, he aplicado los valores de CO2e incorporados por TB del estudio Harvard/Meta. 

Figura 3: Comparando el recuento de dispositivos y el CO2e incorporado de diferentes tipos de sistemas usando valores actualizados del estudio de Harvard/Meta.

Como muestra la Figura 3, las HDD necesitan más de 286 dispositivos para un sistema de 48GB/s con una capacidad efectiva de 4,8 PB, mientras que las SSD de 30TB y los sistemas DFM necesitan menos de 100. Comparar el CO2e incorporado a nivel del sistema en un periodo de 10 años nos dice una historia muy diferente. En lugar de una diferencia de 8 veces, tal como creería el sector de las HDD, el total de la unidad de estado sólido es menos del doble. Cabe destacar que el CO2e incorporado a nivel de sistema para el DFM de Pure Storage es ligeramente más bajo que el sistema HDD.  

Cuando tenemos en cuenta las emisiones derivadas del consumo energético a nivel del sistema, la comparación de las emisiones de carbono es aún más clara. La Figura 4 a continuación asume los mismos recuentos de dispositivos y capacidades de unidad necesarios que la Figura 3. Estos valores se utilizan para calcular el consumo de energía usando una relación entre el bastidor de expansión y el chasis principal de 8:1 para la HDD y una relación de 4:1 para la unidad de estado sólido. Durante 10 años, los sistemas HDD consumen casi el doble de potencia que los sistemas construidos con DFM, necesitan mucho más espacio en bastidor y generan mucho más CO2e incorporado y operativo y residuos electrónicos. Esta historia se repite en diversas cargas de trabajo, incluidas las que tienen un alto rendimiento secuencial o IOPS.

Figura 4: Impacto anual en las emisiones operativas y energéticas a nivel del sistema.

Múltiples factores que aceleran la convergencia del carbono incorporado

Cuando empecé este blog de dos partes, hacía referencia a un artículo de 2017 que comparaba el carbono incorporado de la HDD y la unidad de estado sólido. El artículo de 2017 se ha citado numerosas veces desde su publicación. Si comparo los resultados de 2017 con las estimaciones más recientes del informe de Harvard y Meta, las mejoras son bastante duras.   

Figura 5: Comparación de los resultados del estudio de la Universidad de Wisconsin de 2017 y del estudio de Harvard/Meta de 2022.

La densidad flash ha mejorado significativamente en los últimos 5-10 años, reduciendo la brecha con los discos duros. Sin embargo, las revisiones de los sistemas de HDD y los mensajes de los proveedores de HDD han hecho que las mejoras tecnológicas de los HDD sean modestas y que, al mismo tiempo, estén pendientes de los avances en el flash y de sus ventajas más amplias. Además de superar a la HDD en la mejora de la densidad, el flash ofrece un mayor potencial para reducir las emisiones incorporadas mediante el uso de energía baja en carbono en la fabricación de fuentes como la eólica, la solar o la nuclear. Por el contrario, los discos duros dependen de materiales como el cobalto y el neodimio, cuyos impactos de extracción siguen siendo altos independientemente de la fuente de energía.

Conclusión

El sector de los HDD sabe que la escritura está en la pared. Por ello, algunos proveedores realizan comparaciones cada vez más desesperadas y engañosas, que a menudo ignoran las realidades a nivel del sistema en favor del marketing simplista de $/GB. Estos argumentos pueden retrasar lo inevitable, pero no cambiarán la trayectoria. Las empresas, los hiperescaladores y las organizaciones centradas en la sostenibilidad están cambiando de manera decisiva hacia el flash, sobre todo las SSD QLC, que equilibran el coste y el rendimiento para las cargas de trabajo ricas en capacidad.

La comparación de las unidades de disco duro individuales con las unidades de estado sólido no tiene sentido. A nivel del sistema, el flash supera a los discos duros no solo en velocidad y densidad, sino también en sostenibilidad, costes y fiabilidad. El colapso del rendimiento por TB de los discos duros los ha dejado obsoletos para muchas necesidades empresariales. Meta y otros ya están haciendo la transición y por una buena razón: El almacenamiento flash proporciona mejores resultados en todos los frentes. Las opciones de almacenamiento flash, sobre todo las creadas con DFM de Pure Storage, generan muchos menos dispositivos, un menor consumo de energía y unas emisiones de CO2e incorporadas mucho menores en comparación con los sistemas HDD tradicionales. A medida que las empresas siguen priorizando la sostenibilidad, la adopción de soluciones de almacenamiento más eficientes no solo reducirá las huellas de carbono, sino que también reducirá los costes y las necesidades de infraestructura. Ha llegado el momento de seguir adelante.