Bernstein analisa as sete memórias: depois da HBM, DRAM e NAND disputam o próximo mercado de triliões

Nos últimos dois anos, a narrativa do mercado de armazenamento para IA girou quase toda em torno da HBM. Mas, à medida que os grandes modelos passam do treino para a inferência em larga escala, aumentar apenas a HBM já não resolve todos os problemas.

Num relatório global de armazenamento recentemente publicado, a Bernstein salienta que diferentes cargas de trabalho de IA têm requisitos de memória claramente distintos: o treino dá prioridade à capacidade de computação e à largura de banda; a fase de descodificação na inferência depende mais da capacidade; o RAG exige bases de dados em grande escala; e os fluxos de trabalho de agentes aumentam simultaneamente a carga sobre os servidores tradicionais e os servidores de IA.

Isto significa que as mudanças trazidas pela IA estão a propagar-se da HBM para a DRAM de sistema, SSD, HDD e até para o armazenamento em fita. Em torno do "muro da memória", a cadeia industrial começa a inserir novos produtos entre os níveis existentes, na esperança de encontrar um novo equilíbrio entre desempenho, capacidade e custo.

O limite da escala de inferência pode depender da KV Cache

Na fase de treino de grandes modelos, a GPU e a HBM continuam a ocupar uma posição central.

O treino exige leitura frequente dos parâmetros do modelo e dos dados intermédios, com requisitos elevados de capacidade de computação e de largura de banda da memória. Mas o treino de um grande modelo não depende apenas da HBM: os conjuntos de dados brutos precisam de ser guardados em suportes de armazenamento de menor custo; antes de os dados entrarem na GPU, normalmente é necessário que a DRAM de sistema e o SSD local façam a cache e o pré-processamento; e um treino que dura semanas ou até meses exige ainda a gravação periódica de checkpoints, para evitar que uma falha de hardware ou software obrigue a recomeçar a tarefa do zero.

Por isso, um treino em grande escala acaba por utilizar todo o sistema, desde a HBM e a DRAM de sistema até ao SSD local e ao armazenamento em rede.

Ao entrar na fase de inferência, as necessidades de memória tornam-se ainda mais diferenciadas.

A inferência pode normalmente ser dividida em duas etapas: pré-processamento (Prefill) e descodificação (Decode). O pré-processamento trata da entrada do utilizador e gera o primeiro token, executando sobretudo operações matriciais em grande escala, e está mais sujeito a limitações de computação. Nesta fase, a utilização da GPU e a largura de banda da HBM são mais importantes, e a métrica habitual é a latência do primeiro token.

A fase de descodificação é diferente. O modelo precisa de gerar tokens um a um e, ao gerar um novo token, recorre à informação produzida anteriormente. Para evitar cálculos repetidos, o sistema normalmente guarda estes dados na KV Cache.

A KV Cache tem duas características importantes: a sua capacidade aumenta linearmente com o comprimento do contexto, e cada utilizador precisa de uma cache independente. Por isso, quando o contexto se torna mais longo e o número de utilizadores simultâneos aumenta, estes dois fatores elevam em conjunto a ocupação de memória.

A Bernstein considera que, em implementações de IA em grande escala, a memória ocupada pela KV Cache pode ultrapassar os pesos do modelo, tornando-se o principal fator que limita o número de utilizadores simultâneos e a janela de contexto. A quantidade de utilizadores que o modelo consegue servir e o comprimento do contexto que consegue manter acabam por afetar diretamente a dimensão das receitas.

Deste ponto de vista, a concorrência na era da inferência não se resume à quantidade de cálculos que o chip consegue executar; inclui também o custo com que o sistema consegue guardar e ler um contexto em constante expansão.

RAG e agentes empurram a procura para a memória tradicional

A disseminação do RAG e dos agentes faz com que as necessidades de armazenamento para IA se espalhem ainda mais para além da HBM.

O RAG compreende principalmente duas etapas: construção da base de dados e pesquisa na base de dados. Ao construir a base de dados, o sistema precisa de processar grandes quantidades de dados não estruturados, como PDF, páginas web e código, e depois convertê-los em vetores e índices de pesquisa. Este processo depende mais de SSD de grande capacidade e de DRAM de sistema, sendo o papel da HBM relativamente limitado.

Depois de a base de dados estar criada, a consulta do utilizador é primeiro convertida num vetor e depois comparada com o conteúdo da base de dados. A geração do vetor pode ser feita rapidamente na GPU e na HBM, mas a pesquisa em si depende normalmente mais da DRAM de sistema. Os resultados da pesquisa são depois combinados com a pergunta do utilizador e entram no fluxo normal de pré-processamento e descodificação.

Os workflows de agentes trazem uma carga ainda maior.

Uma conversa tradicional é normalmente uma chamada única do tipo "entrada — modelo — saída". Um agente, porém, precisa de dividir o objetivo em vários passos, chamar outros modelos ou ferramentas externas, guardar resultados intermédios e replanear com base no feedback. O resultado de cada chamada pode, por sua vez, tornar-se a entrada da chamada seguinte ao modelo.

Isto aumenta simultaneamente dois tipos de procura: por um lado, as chamadas a ferramentas e as tarefas que não são de inteligência artificial exigem mais CPU e memória de sistema; por outro, a transferência contínua de contexto entre vários modelos expande rapidamente a carga de pré-processamento, descodificação e KV Cache.

Assim, o desenvolvimento de aplicações de agentes não beneficia apenas as GPU e a HBM; pode também impulsionar a procura de DRAM de servidor, SSD empresariais e suportes de armazenamento de menor custo.

Entre a HBM e o SSD, está a nascer um novo nível de memória

O sistema de memória de um servidor tradicional pode dividir-se, grosso modo, em cache do processador, DRAM de sistema, SSD local e armazenamento partilhado. Os servidores de IA acrescentam a HBM a esta estrutura, mas a HBM tem capacidade limitada e custo elevado, pelo que não consegue suportar todos os dados.

A solução atual da cadeia industrial passa por acrescentar novos produtos entre os diferentes níveis.

O CXL tenta integrar memórias fisicamente dispersas num pool de recursos partilhados, permitindo que CPU, GPU e dispositivos de expansão acedam à DRAM de forma mais flexível. Alguns produtos usam ainda DRAM ou SRAM como cache, combinada com NAND, para reduzir custos e, ao mesmo tempo, encurtar a latência de acesso.

O "Storage Next", promovido pela Nvidia, tenta transferir parte da gestão de armazenamento da CPU para a GPU e dar à NAND uma latência, IOPS e granularidade de acesso aos dados mais próximas da DRAM. A série de SSD GP da Kioxia, baseada em XL-FLASH, é um exemplo desta direção.

O CMX destina-se principalmente à KV Cache. Coloca os SSD em nós de dados independentes, ligados aos nós de computação através de DPU, Ethernet e chips de comutação. O objetivo é partilhar o contexto de inferência entre diferentes GPU, reduzir o armazenamento redundante e, ao mesmo tempo, ultrapassar o limite de capacidade de memória de um único servidor.

Todas estas soluções apontam para a mesma tendência: os sistemas de IA não conseguem manter todos os dados ativos na HBM durante longos períodos; precisam de os distribuir por diferentes níveis, de acordo com a frequência de acesso e os requisitos de latência.

Os dados quentes permanecem na HBM, parte do contexto é transferida para a DRAM de sistema ou para SSD de alto desempenho, e os dados mais frios continuam a descer para SSD comuns, HDD e até fita. Quanto mais finos forem os níveis de memória, maior é a probabilidade de o sistema alcançar um equilíbrio entre desempenho e custo.

Novas tecnologias surgem em catadupa, mas a comercialização continua incerta

Em torno do "muro da memória", a cadeia industrial já propôs várias novas vias.

A zHBM da Samsung prevê empilhar a HBM por cima do processador, encurtando ainda mais a distância de transmissão de dados. No entanto, este design exige lidar com o calor gerado pela GPU e impõe requisitos mais elevados de rendimento e custo na ligação híbrida ao nível da wafer.

A NVHBM, promovida pela Nvidia, entrega o design do die de base à Nvidia, podendo ser fabricado pela TSMC. Esta solução tem potencial para reduzir o consumo de energia e aumentar a largura de banda, mas pode também diminuir o valor de design e fabrico dos fabricantes de memória no die de base da HBM. Com a normalização do produto, parte do valor acrescentado pode transferir-se dos fabricantes de memória para a Nvidia e para as fundições de wafers.

A HBF, promovida pela SanDisk e pela SK Hynix, pretende usar a NAND para oferecer uma largura de banda próxima da HBM, obtendo ao mesmo tempo maior capacidade e menor custo unitário. No entanto, a NAND e a DRAM continuam a apresentar diferenças significativas de latência e desempenho, e a HBF precisa de atravessar vários níveis tecnológicos, pelo que a sua implementação não é nada fácil.

A ZAM da Intel tenta rodar o die de DRAM 90 graus para melhorar a dissipação de calor, com o objetivo de se tornar prática no ano fiscal de 2029; a HBC da Qualcomm usa LPDDR e encapsulamento tradicional, contornando o custo do CoWoS à custa de algum desempenho.

Além disso, a PIM tenta acrescentar capacidade de computação diretamente no chip de memória, para reduzir o movimento de dados entre o processador e a memória. Mas isto altera a arquitetura de computação existente, exige adaptação conjunta do processador, do software e da rede, e abala o sistema já muito maduro de divisão de trabalho entre chips lógicos e chips de memória. A Bernstein considera que a sua adoção pela indústria continua limitada.

Assim, o rápido aumento do número de novas soluções não significa que todas as vias venham a formar mercados de escala. A compatibilidade com o ecossistema de software e hardware existente, a existência de vantagens de custo e a capacidade de os vários intervenientes da cadeia de abastecimento chegarem a um equilíbrio de interesses determinarão o resultado final da comercialização.

Os beneficiários do armazenamento para IA não serão apenas os fabricantes de HBM

Do ponto de vista do investimento, o juízo da Bernstein é bastante claro: o impulso da IA sobre a indústria de armazenamento está a alargar-se de um pequeno número de produtos de gama alta para mais níveis.

A HBM continua a ser o núcleo do treino e da inferência de alto desempenho, e a Samsung Electronics, a SK Hynix e a Micron continuarão a beneficiar da procura de memória de alta largura de banda. Mas, à medida que a escala de inferência aumenta, a importância da DRAM de sistema e da NAND sobe. O overflow da KV Cache, as bases de dados RAG e a grande quantidade de dados intermédios gerados pelos agentes também aumentarão a procura de SSD e de armazenamento partilhado.

Os dados mais frios continuarão a descer. A Bernstein afirma que o crescimento de dados trazido pela IA já começou a beneficiar os HDD; em alguns cenários, devido à insuficiência de capacidade da NAND e dos HDD, a procura de fita, tradicionalmente usada sobretudo para arquivo, também está a aumentar.

O relatório continua a atribuir às ações da Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate e Western Digital a classificação de "desempenho acima do mercado". Entre elas, a Samsung Electronics, a SK Hynix e a Micron correspondem à DRAM e à HBM; a SanDisk beneficia da NAND e da HBF; e a Seagate e a Western Digital correspondem ao armazenamento de grande capacidade e menor custo. A Kioxia é classificada como "desempenho abaixo do mercado".

No entanto, o valor central deste relatório não está em enumerar um conjunto de novas siglas tecnológicas, mas sim em redefinir as fronteiras do mercado de armazenamento para IA.

Na era do treino, o estrangulamento concentrava-se sobretudo na GPU e na HBM; na era da inferência e dos agentes, o estrangulamento começa a espalhar-se por todo o sistema de memória. A competição futura na infraestrutura de IA dependerá tanto da rapidez com que os chips conseguem calcular como da capacidade de os dados fluírem de forma eficiente, e a custo suficientemente baixo, entre HBM, DRAM, NAND e armazenamento partilhado.