¿Cómo se compara el carbono incorporado en Flash con los HDD? Parte 2

El estudio de la Universidad de Wisconsin mencionado en la Parte 1 de esta serie de blog comparó el CO2e incorporado (también conocido como emisiones de fabricación) a nivel de dispositivos de almacenamiento. Para las soluciones que necesitan solo un dispositivo para cumplir con los requisitos de rendimiento y capacidad, puede ser una comparación válida incluso con los últimos valores de CO2e por dispositivo. Pero en los sistemas empresariales, dichas comparaciones directas de dispositivo a dispositivo suelen ser engañosas. El rendimiento y la capacidad escalan de manera diferente entre las tecnologías de almacenamiento, e ignorar esta dinámica a nivel del sistema lleva a conclusiones erróneas.

Para establecer una comparación significativa entre los sistemas de almacenamiento empresarial, debemos comenzar con los requisitos de rendimiento y capacidad a nivel del sistema, luego construir configuraciones que cumplan con esos requisitos usando HDD o SSD. Los sistemas de almacenamiento flash ofrecen no solo una mayor utilización de la capacidad, sino también una reducción de datos en línea con mínimas sanciones de rendimiento. Y debido a que las SSD contienen más densidad por dispositivo, se necesitan menos unidades para una capacidad de sistema determinada. Por otro lado, un menor rendimiento en los HDD a menudo exige un exceso de unidades para satisfacer los requisitos de rendimiento. Esto aumenta drásticamente los costos, la energía, las emisiones incorporadas y operativas, así como los desechos electrónicos.

El colapso del rendimiento de HDD por terabyte

Para comprender por qué se están produciendo aumentos tan dramáticos cuando comparamos sistemas de almacenamiento, primero debemos considerar el rendimiento de HDD. Aunque los HDD difieren en rendimiento según su interfaz y velocidad de rotación, incluso las unidades más rápidas de la actualidad superan alrededor de 200-300MB/s o 200 a 300 IOPS. Curiosamente, el uso de altas profundidades de cola o caché de escritura desprotegida puede mejorar las IOPS de HDD desde su base de alrededor de 200 a 300 IOPS en el rango de 500 o incluso 1000 IOPS. Para las declaraciones de marketing técnico y las hojas de especificaciones de productos, estas mejoras son una bonanza. Lamentablemente, tienen un costo muy alto en términos de latencias promedio y de cola. Como muestra este artículo de Tom’s Hardware, el rendimiento sigue siendo un par de órdenes de magnitud más bajo que las SSD de seis años de antigüedad. Y estos son los mejores escenarios para los HDD. Las cargas de trabajo del mundo real con incluso una pequeña fracción de I/O de bloque pequeño aleatoria pueden reducir a la mitad el rendimiento de la carga de trabajo secuencial restante, lo que ha relegado el HDD a casos de uso de capacidad de bajo rendimiento. Para crear sistemas a gran escala, las empresas suelen usar HDD de 24TB-28TB. Pero satisfacer las crecientes demandas de rendimiento por TB con estos dispositivos es una batalla perdida.

Un reciente blog de ingeniería de Meta establece la falla fundamental en el escalamiento actual de HDD: el rendimiento por terabyte (BW/TB) se está colapsando. A medida que crecen las capacidades del disco, su rendimiento no se escala en consecuencia, ya que la capacidad aumenta al agregar bandejas o al disminuir el espacio entre pistas. ¿El resultado? Los ingenieros se ven forzados a sobreaprovisionar los HDD para cumplir con los requisitos de ancho de banda o descargar datos en caliente a niveles costosos de SSD, los cuales introducen costos y complejidad. Meta finalmente llegó a la conclusión de que los HDD ya no podían satisfacer las necesidades de incluso cargas de trabajo de archivo o centradas en la capacidad y está acelerando su alejamiento de ellos por completo.

Figura 1: El rendimiento sostenido por terabyte disminuye bruscamente con el aumento de la capacidad de HDD. Fuente.

Las mediciones de Meta muestran que, a medida que aumenta la capacidad de HDD, el rendimiento por terabyte disminuye significativamente, y cae de más de 15 MBps/TB a 12TB a menos de 6 MBps/TB a 30TB. Esta tendencia destaca el rendimiento por TB que colapsa y hace que los HDD sean inviables incluso para aplicaciones centradas en la capacidad.

Este colapso no es una nota al pie, es una amenaza existencial. De hecho, marca el comienzo del final de los HDD en el centro de datos.Tom’s Hardware refuerza esta trayectoria, lo que demuestra que incluso en 2019, los SSD SATA de nivel medio duplican el rendimiento de los HDD de alto rendimiento, mientras que los SSD NVMe ofrecen de 10 a 15 veces el rendimiento. Para las cargas de trabajo con crecientes necesidades de rendimiento, los HDD se han vuelto cada vez más irrelevantes en los últimos cinco años.

La última posición de la industria y la realidad flash

Los fabricantes de HDD están luchando contra una batalla perdedora contra el incesante aumento del almacenamiento flash. La brecha de rendimiento entre los HDD y los SSD es cada vez más evidente, especialmente en cargas de trabajo que consumen más datos. Si bien los HDD siguen siendo viables para el almacenamiento de datos inactivos, su función en el procesamiento activo de datos está disminuyendo. Los fabricantes están intentando mantener los HDD relevantes mediante la introducción de tecnologías como la grabación magnética asistida por calor (HAMR) y la grabación magnética asistida por microondas (MAMR), pero estos esfuerzos parecen ser un último intento para prolongar la inevitable disminución de los HDD en entornos de rendimiento medio a bajo.

Los fabricantes de HDD también han intentado usar un argumento de eficiencia energética, pero si bien los HDD consumen un poco menos de energía para las operaciones inactivas, como se destaca en las pruebas de consumo de energía de Tom’s Hardware, su eficiencia general es inferior a la de los SSD. El artículo de Tom’s Hardware proporcionó un ejemplo concreto del problema para el HDD, aunque el HDD WD Black ofrece una relación de potencia/rendimiento razonable durante escrituras sostenidas, los SSD como el MX500 y el SN750 ofrecen una eficiencia de potencia mucho mejor por vatio durante el uso activo y los estados inactivos, lo que los convierte en una opción más sostenible para los centros de datos modernos. Las limitaciones de rendimiento de los HDD, agravadas por la ventaja de costos decrecientes, dejan en claro que el almacenamiento flash dominará el futuro de la computación y el almacenamiento de bajo, medio y alto rendimiento.

La transición de Meta es una señal. La desaparición del HDD no es un pronóstico lejano, está sucediendo ahora. La creciente brecha de rendimiento entre los HDD y las SSD, especialmente en entornos que requieren almacenamiento de alto rendimiento para los datos en caliente, es convincente para Meta y otros centros de datos para recurrir al almacenamiento flash por su mejor densidad, rendimiento y eficiencia energética.  Determinaron que la disminución del rendimiento por TB de HDD es cada vez más inadecuada para las necesidades cambiantes de los centros de datos. Esto ha llevado a la tendencia más amplia de la industria de alejarse de los HDD a favor de soluciones de SSD más eficientes y de mayor rendimiento.

HDD: Capacidad sin rendimiento, e incluso eso está fallando

El último refugio para los HDD ha sido su bajo costo/GB y alta capacidad. Pero incluso ese refugio se ha deteriorado rápidamente en los últimos años. Para muchas cargas de trabajo empresariales, incluso los umbrales de rendimiento mínimos ya no son alcanzables con los HDD. Como mostraré un poco más tarde, para cumplir con un objetivo de rendimiento de 48GB/s, un sistema de 4,8 PB construido a partir de discos duros de 28TB requeriría más de 240 dispositivos, más del doble del recuento necesario para cumplir solo con el requisito de capacidad. Para I/O de bloque pequeño, la historia empeora: Una modesta carga de trabajo de 200 000 IOPS puede requerir más de 800 discos duros.

Por el contrario, los SSD QLC modernos pueden ofrecer capacidad y rendimiento. Un sistema de 4,8 PB puede construirse a partir de menos de 100 dispositivos, logrando el mismo rendimiento o un mejor con menos potencia, espacio e impacto de CO2e. Y eso no incluye los beneficios adicionales de una mejor confiabilidad, ciclos de vida más largos y tasas de falla más bajas.

Las comparaciones a nivel del sistema cuentan la historia real

Según un reciente informe de investigación de la Universidad de Harvard y Meta, la huella de carbono incorporada por gigabyte para las tecnologías de almacenamiento varía ampliamente:

• HDD: Rango de 1,14 a 20,5 g de CO2e/GB, según el modelo y el caso de uso. Los HDD empresariales comunes como Seagate Exos X16 se encuentran en el rango de 1,33 g de CO2e/GB.
  
• SSD: Varíe de 3,95 a 30 g de CO2e/GB, con SSD empresariales típicas como Seagate Nytro 3530 a 6,21 g de CO2e/GB y SSD 2019 de Western Digital a 10,7 g de CO2e/GB.

Los valores de g CO2e por GB para los productos específicos enumerados anteriormente se traducen en:

• HDD: ~1,33 kg de CO2e por TB
  
• SSD: ~6,21 a 10,7 kg de CO2e por TB

Estos números destacan por qué los fabricantes de HDD continúan enfocándose en las comparaciones de dispositivos y dispositivos. Sin embargo, para el almacenamiento de centros de datos empresariales, tiene mucho más sentido evaluar el impacto total de CO2e incorporado a nivel del sistema, donde los sistemas de almacenamiento basados en flash necesitan muchos menos dispositivos para cumplir con los objetivos de rendimiento y, por lo tanto, producir una menor huella de carbono general a pesar de una mayor intensidad por GB.

En la siguiente tabla, he utilizado el rango de rendimiento de 10 MB/s/TB descrito en el blog de ingeniería de Meta para sus aplicaciones de HDD y su gráfico de rendimiento de HDD por TB para construir dos sistemas de HDD, dos SSD y dos de módulo DirectFlash® (DFM) con una capacidad efectiva de 4,8 PB. En la parte inferior de la tabla, apliqué los valores de CO2e incorporados por TB del estudio Harvard/Meta. 

Figura 3: Comparación del recuento de dispositivos y CO2e incorporado de diferentes tipos de sistemas mediante valores actualizados del estudio Harvard/Meta.

Como se muestra en la Figura 3, los HDD requieren más de 286 dispositivos para un sistema de 48GB/s con capacidad efectiva de 4,8 PB, mientras que los SSD de 30TB y los sistemas DFM requieren menos de 100. Comparar el CO2e incorporado a nivel del sistema durante un período de 10 años nos cuenta una historia muy diferente. En lugar de una diferencia de 8 veces la que cree la industria de HDD, el total de SSD es menos del doble. Cabe destacar que el CO2e incorporado a nivel del sistema para DFM de Pure Storage es ligeramente menor que el sistema HDD.  

Cuando consideramos las emisiones del consumo de energía a nivel del sistema, la comparación de emisiones de carbono se vuelve aún más clara. La Figura 4 a continuación supone los mismos recuentos de dispositivos y capacidades de unidad que la Figura 3. Esos valores se utilizan para calcular el consumo de energía utilizando una relación de estante de expansión a chasis principal de 8:1 para HDD y una relación de 4:1 para SSD. Durante 10 años, los sistemas de HDD consumen casi el doble de potencia que los sistemas construidos con DFM, requieren mucho más espacio en rack y crean CO2e operativo y desechos electrónicos sustancialmente más incorporados. Esta historia se repite en diferentes cargas de trabajo, incluidas aquellas con IOPS altas o rendimiento secuencial.

Figura 4: Impacto anual en la potencia y las emisiones operativas a nivel del sistema.

Múltiples impulsores que aceleran la convergencia del carbono incorporado

Cuando comencé este blog de dos partes, hice referencia a un artículo de 2017 que comparaba el carbono incorporado de HDD y SSD. El artículo de 2017 ha sido citado varias veces desde su publicación. Si comparo los resultados de 2017 con las estimaciones más recientes del artículo de Harvard y Meta, las mejoras son bastante marcadas.   

Figura 5: Comparación de los resultados del estudio de la Universidad de Wisconsin de 2017 y el estudio de Harvard/Meta de 2022.

La densidad flash ha mejorado significativamente en los últimos 5 a 10 años, lo que redujo la brecha con los HDD. Sin embargo, las revisiones del sistema de HDD y los mensajes de los proveedores de HDD promocionan en gran medida las modestas mejoras en la tecnología de HDD, al mismo tiempo que hacen la vista gorda a los avances en flash y sus ventajas más amplias. Más allá de superar al HDD en la mejora de la densidad, flash ofrece un mayor potencial para reducir las emisiones incorporadas a través del uso de energía baja en carbono en la fabricación de fuentes como la eólica, solar o nuclear. Por el contrario, los HDD dependen de materiales como el cobalto y el neodimio, cuyos impactos de extracción siguen siendo altos, independientemente de la fuente de energía.

Conclusiones

La industria de HDD sabe que la escritura está en la pared. Es por eso que algunos proveedores están haciendo comparaciones cada vez más desesperadas y engañosas, a menudo ignorando las realidades a nivel del sistema a favor del marketing simplista de $/GB. Estos argumentos podrían retrasar lo inevitable, pero no cambiarán la trayectoria. Las empresas, los hiperescaladores y las organizaciones centradas en la sustentabilidad están cambiando de manera decisiva hacia flash, especialmente los SSD de QLC que equilibran el costo y el rendimiento para cargas de trabajo ricas en capacidad.

La comparación de los HDD individuales con los SSD no tiene sentido. A nivel del sistema, flash supera a los HDD no solo en velocidad y densidad, sino también en sustentabilidad, costo y confiabilidad. El colapso del rendimiento por TB en los HDD los ha vuelto obsoletos para muchas necesidades empresariales. Meta y otros ya están haciendo la transición y por una buena razón: El almacenamiento flash ofrece mejores resultados en cada frente. Las opciones de almacenamiento flash, en particular las que están construidas con DFM de Pure Storage, generan muchos menos dispositivos, menos consumo de energía y emisiones de CO2e incorporadas significativamente más bajas en comparación con los sistemas de HDD tradicionales. A medida que las empresas continúan priorizando la sustentabilidad, la adopción de soluciones de almacenamiento más eficientes no solo reducirá las huellas de carbono, sino que también reducirá los costos y las necesidades de infraestructura. Es hora de seguir adelante.