Como o carbono incorporado no flash se compara aos HDDs?: Parte 2

O estudo da Universidade de Wisconsin mencionado na Parte 1 desta série de blogs comparou o CO2e incorporado (também conhecido como emissões de fabricação) no nível do dispositivo de armazenamento. Para soluções que precisam de apenas um único dispositivo para atender aos requisitos de desempenho e capacidade, isso pode ser uma comparação válida mesmo com os valores mais recentes de CO2e por dispositivo. No entanto, em sistemas corporativos, essas comparações diretas entre dispositivos costumam ser enganosas. O desempenho e a capacidade se expandem de maneira diferente entre as tecnologias de armazenamento, e ignorar essa dinâmica no nível do sistema leva a conclusões incorretas.

Para fazer uma comparação significativa entre os sistemas de armazenamento corporativo, devemos começar com os requisitos de desempenho e capacidade no nível do sistema e, em seguida, criar configurações que atendam a esses requisitos usando HDDs ou SSDs. Os sistemas de armazenamento flash oferecem não apenas maior utilização de capacidade, mas também redução de dados em linha com penalidades mínimas de desempenho. E como as SSDs oferecem mais densidade por dispositivo, menos unidades são necessárias para uma determinada capacidade do sistema. Por outro lado, um desempenho menor em HDDs muitas vezes exige um excesso de unidades para atender aos requisitos de taxa de transferência. Isso aumenta drasticamente o custo, a energia, as emissões incorporadas e operacionais, bem como o desperdício eletrônico.

O colapso do desempenho do HDD por Terabyte

Para entender por que esses aumentos dramáticos estão ocorrendo quando comparamos sistemas de armazenamento, primeiro devemos considerar o desempenho do HDD. Embora os HDDs sejam diferentes em desempenho com base em sua interface e velocidade rotacional, mesmo as unidades mais rápidas de hoje chegam a 200-300MB/s ou 200-300 IOPS. Curiosamente, o uso de altas profundidades de fila ou cache de write-back desprotegido pode melhorar os IOPS de HDD de sua base de cerca de 200 a 300 IOPS na faixa de 500 ou mesmo 1.000 IOPS. Para declarações técnicas de marketing e especificações de produtos, essas melhorias são uma vantagem. Infelizmente, elas têm um custo muito alto em termos de latência média e traseira. Como mostra este artigo da Tom’s Hardware, o desempenho ainda é um pouco menor do que os SSDs de seis anos. E esses são os melhores cenários para HDDs. As cargas de trabalho do mundo real com até mesmo uma pequena fração de I/O de bloco pequeno aleatório podem reduzir pela metade o desempenho da carga de trabalho sequencial restante, o que relegou o HDD a casos de uso de capacidade de baixo desempenho. Para criar sistemas de grande escala, as empresas frequentemente usam HDDs de 24TB-28TB. Mas atender às crescentes demandas de desempenho por TB com esses dispositivos é uma batalha perdida.

Um blog recente da Meta Engineering mostra a falha fundamental na expansão atual do HDD: o desempenho por terabyte (BW/TB) está em colapso. À medida que as capacidades de disco aumentam, a taxa de transferência não é dimensionada conforme a capacidade aumenta, adicionando pratos ou diminuindo o espaço entre as faixas. O resultado? Os engenheiros são forçados a provisionar HDDs em excesso para atender aos requisitos de largura de banda ou descarregar dados quentes para camadas caras de SSD, as quais introduzem custo e complexidade. A Meta finalmente concluiu que os HDDs não podiam mais atender às necessidades de cargas de trabalho centradas em capacidade ou arquivamento e está acelerando totalmente sua saída deles.

Figura 1: A taxa de transferência sustentada por terabyte cai acentuadamente com o aumento da capacidade do HDD. Fonte.

As medições do Meta mostram que conforme a capacidade do HDD aumenta, a taxa de transferência por terabyte diminui significativamente, caindo de mais de 15 MBps/TB a 12TB para menos de 6 MBps/TB a 30TB. Essa tendência destaca o desempenho em colapso por TB que torna os HDDs inviáveis mesmo para aplicativos centrados em capacidade.

Esse colapso não é uma nota de rodapé, é uma ameaça existencial. Na verdade, ela marca o início do fim para HDDs no datacenter.O hardware de Tom reforça essa trajetória, mostrando que mesmo em 2019, SSDs SATA de camada média dobram a taxa de transferência de HDDs de alto desempenho, enquanto SSDs NVMe oferecem de 10 a 15 vezes o desempenho. Para cargas de trabalho com necessidades crescentes de desempenho, os HDDs têm se tornado cada vez mais irrelevantes nos últimos cinco anos.

O último estande do setor e a realidade flash

Os fabricantes de HDD estão lutando contra a ascensão incansável do armazenamento flash. A lacuna de desempenho entre HDDs e SSDs está se tornando cada vez mais evidente, especialmente em cargas de trabalho que exigem pouco uso de dados. Embora os HDDs ainda sejam viáveis para armazenamento de dados inativos, seu papel no processamento ativo de dados está diminuindo. Os fabricantes estão tentando manter os HDDs relevantes introduzindo tecnologias como gravação magnética assistida por calor (HAMR, Heat-Assisted magnetic recording) e gravação magnética assistida por micro-ondas (MAMR, Microondas-Assisted magnetic recording), mas esses esforços parecem ser uma tentativa de última saída para prolongar o declínio inevitável dos HDDs em ambientes de desempenho médio a baixo.

Os fabricantes de HDDs também tentaram usar um argumento de eficiência energética, mas embora os HDDs consumam um pouco menos energia para operações ociosas, conforme destacado nos testes de consumo de energia do hardware de Tom, sua eficiência geral é inferior à das SSDs. O artigo Tom’s Hardware forneceu um exemplo concreto do problema para HDD. Embora o HDD WD Black ofereça uma relação razoável entre potência e desempenho durante gravações sustentadas, SSDs como o MX500 e o SN750 oferecem uma eficiência energética muito melhor por watt durante o uso ativo e os estados ociosos, tornando-os uma escolha mais sustentável para datacenters modernos. As limitações de desempenho dos HDDs, agravadas pela redução da vantagem de custo, deixam claro que o armazenamento flash dominará o futuro da computação e do armazenamento de baixo, médio e alto desempenho.

A transição do Meta é um sinal. A morte do HDD não é uma previsão distante. Ela está acontecendo agora. A crescente lacuna de desempenho entre HDDs e SSDs, especialmente em ambientes que exigem armazenamento de alto desempenho para dados ativos, é atrativa para a Meta e outros datacenters recorrerem ao armazenamento flash para obter melhor densidade, desempenho e eficiência energética.  Eles determinaram que o desempenho em declínio por TB de HDD é cada vez mais inadequado para as necessidades em evolução dos datacenters. Isso levou à tendência mais ampla do setor de se afastar dos HDDs em favor de soluções de SSD mais eficientes e de alto desempenho.

HDDs: Capacidade sem desempenho, e até mesmo isso está falhando

O último paraíso para HDDs foi a baixa taxa de US$/GB e a alta capacidade. Mas mesmo esse refúgio vem se desgastando rapidamente nos últimos anos. Para muitas cargas de trabalho corporativas, mesmo os limites mínimos de desempenho não são mais alcançáveis com HDDs. Como mostrarei um pouco mais tarde, para atingir um destino de taxa de transferência de 48GB/s, um sistema de 4,8 PB desenvolvido a partir de HDDs de 28TB exigiria mais de 240 dispositivos, mais do que o dobro da contagem necessária para atender apenas ao requisito de capacidade. Para I/O de bloco pequeno, a história piora: Uma carga de trabalho modesta de 200.000 IOPS pode exigir mais de 800 discos rígidos.

Por outro lado, as SSDs QLC modernas podem oferecer capacidade e desempenho. Um sistema de 4,8 PB pode ser desenvolvido a partir de menos de 100 dispositivos, alcançando a mesma taxa de transferência ou melhor com menos energia, espaço e impacto de CO2e. E isso não inclui os benefícios adicionais de melhor confiabilidade, ciclos de vida mais longos e taxas de falha menores.

Comparações no nível do sistema contam a história real

De acordo com um artigo de pesquisa recente da Harvard University e Meta, a pegada de carbono incorporada por gigabyte para tecnologias de armazenamento varia amplamente:

• HDDs: A faixa varia de 1,14 a 20,5 g de CO2e/GB, dependendo do modelo e do caso de uso. HDDs corporativos comuns, como o Seagate Exos X16, estão na faixa de 1,33 g de CO2e/GB.
  
• SSDs: A faixa varia de 3,95 a 30 g de CO2e/GB, com SSDs corporativos típicos como o Seagate Nytro 3530 a 6,21 g de CO2e/GB e SSDs de 2019 da Western Digital a 10,7 g de CO2e/GB.

Os valores de g de CO2e por GB para os produtos específicos listados acima se traduzem em:

• HDDs: ~1,33 kg de CO2e por TB
  
• SSDs: ~6,21 a 10,7 kg de CO2e por TB

Esses números destacam por que os fabricantes de HDD continuam se concentrando em comparações entre dispositivos. No entanto, para o armazenamento de datacenter corporativo, faz muito mais sentido avaliar o impacto total do CO2e incorporado no nível do sistema, onde os sistemas de armazenamento baseados em flash precisam de muito menos dispositivos para atingir as metas de desempenho e, portanto, produzir uma pegada de carbono geral menor, apesar da intensidade mais alta por GB.

Na tabela abaixo, usei a faixa de desempenho de 10 MB/s/TB descrita no blog de engenharia Meta para seus aplicativos de HDD e seu gráfico de taxa de transferência de HDD por TB para criar dois sistemas de HDD, dois SSD e dois módulos DirectFlash® (DFM) com uma capacidade efetiva de 4,8 PB. Na parte inferior da tabela, apliquei os valores de CO2e incorporados por TB do estudo Harvard/Meta. 

Figura 3: Comparação da contagem de dispositivos e CO2e incorporado de diferentes tipos de sistemas usando valores atualizados do estudo Harvard/Meta.

Conforme mostrado na Figura 3, os HDDs exigem mais de 286 dispositivos para um sistema de 48GB/s com capacidade efetiva de 4,8 PB, enquanto SSDs de 30TB e sistemas DFM exigem menos de 100. Comparar o CO2e incorporado no nível do sistema durante um período de 10 anos nos conta uma história muito diferente. Em vez de uma diferença de 8 vezes como o setor de HDD teria você acreditado, o total da SSD é inferior a 2 vezes maior. Notavelmente, o CO2e incorporado no nível do sistema para DFM da Pure Storage é um pouco menor do que o sistema HDD.  

Quando consideramos as emissões do consumo de energia no nível do sistema, a comparação das emissões de carbono fica ainda mais clara. A Figura 4 abaixo assume as mesmas contagens de dispositivos e capacidades de unidade necessárias da Figura 3. Esses valores são usados para calcular o consumo de energia usando uma proporção de rack principal e prateleira de expansão de 8:1 para HDD e uma proporção de 4:1 para SSD. Ao longo de 10 anos, os sistemas de HDD consomem quase o dobro da potência dos sistemas desenvolvidos com DFM, exigem significativamente mais espaço em rack e criam CO2e operacional e lixo eletrônico substancialmente mais incorporados. Essa história se repete em diferentes cargas de trabalho, incluindo aquelas com IOPS alto ou taxa de transferência sequencial.

Figura 4: Impacto anual das emissões operacionais e de energia no nível do sistema.

Vários fatores que aceleram a convergência de carbono incorporada

Quando comecei este blog em duas partes, mencionei um artigo de 2017 comparando o carbono incorporado do HDD e SSD. O artigo de 2017 foi citado várias vezes desde a publicação. Se eu comparar os resultados de 2017 com as estimativas mais recentes do artigo da Harvard e Meta, as melhorias são muito difíceis.   

Figura 5: Comparação dos resultados do estudo de 2017 da Universidade de Wisconsin e do estudo de 2022 da Harvard/Meta.

A densidade do flash melhorou significativamente nos últimos 5 a 10 anos, reduzindo a lacuna com HDDs. No entanto, as avaliações do sistema de HDD e as mensagens do fornecedor de HDD promovem melhorias modestas na tecnologia de HDD enquanto deixam os olhos para os avanços no flash e suas vantagens mais amplas. Além de superar o HDD na melhoria da densidade, o flash oferece mais potencial para reduzir emissões incorporadas por meio do uso de energia de baixo carbono na fabricação de fontes como eólica, solar ou nuclear. Por outro lado, as HDDs dependem de materiais como cobalto e neodímio, cujos impactos de extração permanecem altos, independentemente da fonte de energia.

Conclusão

O setor de HDD sabe que a gravação está na parede. É por isso que alguns fornecedores estão fazendo comparações cada vez mais desesperadas e enganosas, muitas vezes ignorando realidades no nível do sistema em favor do marketing simplista de US$/GB. Esses argumentos podem atrasar o inevitável, mas não mudarão a trajetória. Empresas, hiperescaladores e organizações focadas em sustentabilidade estão mudando decisivamente para o flash, especialmente SSDs QLC que equilibram custo e desempenho para cargas de trabalho ricas em capacidade.

A comparação de HDDs individuais com SSDs não faz sentido. No nível do sistema, o flash supera os HDDs não apenas em velocidade e densidade, mas também em sustentabilidade, custo e confiabilidade. O colapso de desempenho por TB em HDDs tornou-os obsoletos para muitas necessidades corporativas. Meta e outros já estão fazendo a transição e por um bom motivo: O armazenamento flash oferece melhores resultados em todas as frentes. As opções de armazenamento flash, especialmente aquelas desenvolvidas com o DFM da Pure Storage, resultam em muito menos dispositivos, menos consumo de energia e emissões de CO2e incorporadas significativamente menores em comparação com os sistemas HDD tradicionais. À medida que as empresas continuam priorizando a sustentabilidade, a adoção de soluções de armazenamento mais eficientes não apenas reduzirá as emissões de carbono, mas também reduzirá os custos e as necessidades de infraestrutura. É hora de seguir em frente.