Bernstein analiza las siete memorias: tras HBM, DRAM y NAND compiten por el próximo mercado de un billón de dólares

Durante los últimos dos años, la narrativa del mercado de almacenamiento para IA ha girado casi por completo en torno a HBM. Pero a medida que los grandes modelos pasan del entrenamiento a la inferencia a gran escala, simplemente añadir más HBM ya no basta para resolver todos los problemas.

Bernstein señala en su último informe global sobre almacenamiento que los distintos tipos de cargas de trabajo de IA tienen requisitos de memoria muy diferentes: el entrenamiento prioriza la potencia de cálculo y el ancho de banda; la fase de decodificación en la inferencia depende más de la capacidad; RAG necesita bases de datos a gran escala; y los flujos de trabajo de agentes aumentan simultáneamente la carga sobre los servidores tradicionales y los de IA.

Esto significa que los cambios impulsados por la IA se están propagando desde HBM hacia la DRAM de sistema, los SSD, los HDD e incluso el almacenamiento en cinta. En torno al "muro de la memoria", la cadena industrial está insertando nuevos productos entre los niveles existentes, buscando un nuevo equilibrio entre rendimiento, capacidad y coste.

El límite de la escala de inferencia puede depender de la caché KV

En la fase de entrenamiento de grandes modelos, la GPU y la HBM siguen ocupando una posición central.

El entrenamiento requiere leer con frecuencia los parámetros del modelo y los datos intermedios, lo que exige una gran capacidad de cálculo y un alto ancho de banda de memoria. Pero el entrenamiento de un modelo grande no depende solo de la HBM: los conjuntos de datos brutos deben guardarse en medios de almacenamiento más baratos; antes de que los datos entren en la GPU, normalmente la DRAM del sistema y los SSD locales se encargan del almacenamiento en caché y el preprocesamiento; y un entrenamiento que dura semanas o incluso meses también necesita guardar puntos de control periódicamente para evitar que un fallo de hardware o software obligue a reiniciar la tarea desde cero.

Por tanto, un entrenamiento a gran escala utiliza en realidad todo el sistema, desde HBM y DRAM de sistema hasta SSD locales y almacenamiento en red.

Al entrar en la fase de inferencia, los requisitos de memoria se diversifican aún más.

La inferencia suele dividirse en dos etapas: prellenado (Prefill) y decodificación (Decode). El prellenado se encarga de procesar la entrada del usuario y generar el primer token; ejecuta principalmente operaciones matriciales a gran escala y está más limitado por la capacidad de cálculo. En esta etapa, la utilización de la GPU y el ancho de banda de la HBM son más importantes, y la métrica habitual es la latencia del primer token.

La fase de decodificación es diferente. El modelo debe generar tokens uno a uno y, al generar un nuevo token, necesita acceder a la información producida anteriormente. Para evitar repetir cálculos, el sistema suele guardar estos datos en la caché KV.

La caché KV tiene dos características importantes: su capacidad aumenta linealmente con la longitud del contexto, y cada usuario necesita una caché independiente. Por tanto, cuando el contexto se alarga y aumenta el número de usuarios concurrentes, ambos factores elevan conjuntamente la ocupación de memoria.

Bernstein considera que, en despliegues de IA a gran escala, la memoria ocupada por la caché KV puede superar a la de los pesos del modelo, convirtiéndose en el principal factor que limita el número de usuarios concurrentes y la ventana de contexto. Cuántos usuarios puede atender el modelo y cuánto contexto puede mantener afecta directamente a los ingresos.

Desde esta perspectiva, la competencia en la era de la inferencia no se centra solo en cuántos cálculos puede realizar el chip, sino también en a qué coste puede el sistema almacenar y leer un contexto en constante expansión.

RAG y los agentes empujan la demanda hacia la memoria tradicional

La popularización de RAG y los agentes está extendiendo la demanda de almacenamiento para IA más allá de la HBM.

RAG incluye principalmente dos fases: construcción de la base de datos y recuperación de la base de datos. Al construir la base de datos, el sistema necesita procesar grandes cantidades de datos no estructurados, como PDF, páginas web y código, y convertirlos en vectores e índices buscables. Este proceso depende más de SSD de gran capacidad y DRAM de sistema; el papel de la HBM es relativamente limitado.

Una vez creada la base de datos, la consulta del usuario se convierte primero en un vector y luego se compara con el contenido de la base de datos. La generación del vector puede realizarse rápidamente en la GPU y la HBM, pero la búsqueda real suele depender más de la DRAM del sistema. Los resultados de la recuperación se combinan con la pregunta del usuario y entran en el flujo normal de prellenado y decodificación.

La carga que introducen los flujos de trabajo de agentes es aún mayor.

Una conversación tradicional suele ser una única llamada de "entrada-modelo-salida", mientras que un agente necesita dividir el objetivo en varios pasos, llamar a otros modelos o herramientas externas, guardar resultados intermedios y replanificar según la retroalimentación. El resultado de cada llamada puede convertirse en la entrada de la siguiente llamada al modelo.

Esto aumenta dos tipos de demanda a la vez: por un lado, las llamadas a herramientas y las tareas no relacionadas con IA requieren más CPU y memoria del sistema; por otro, el paso continuo de contexto entre múltiples modelos amplía rápidamente la carga de prellenado, decodificación y caché KV.

Por tanto, el desarrollo de aplicaciones de agentes no solo beneficia a las GPU y la HBM, sino que también puede impulsar la demanda de DRAM de servidor, SSD empresariales y medios de almacenamiento de menor coste.

Entre HBM y SSD está surgiendo un nuevo nivel de memoria

El sistema de memoria de un servidor tradicional se puede dividir aproximadamente en caché interna del procesador, DRAM del sistema, SSD local y almacenamiento compartido. Los servidores de IA añaden HBM a esta estructura, pero la HBM tiene una capacidad limitada y un coste elevado, por lo que no puede albergar todos los datos.

La solución actual de la cadena industrial es insertar nuevos productos entre los distintos niveles.

CXL intenta integrar memorias físicamente dispersas en un pool de recursos compartidos, para que CPU, GPU y dispositivos de expansión puedan acceder a la DRAM de forma más flexible. Algunos productos también utilizan DRAM o SRAM como caché, combinadas con NAND, para reducir costes y acortar la latencia de acceso.

"Storage Next", impulsado por Nvidia, intenta trasladar parte de la gestión del almacenamiento de la CPU a la GPU y conseguir que la NAND tenga una latencia, IOPS y granularidad de acceso a datos más cercanas a las de la DRAM. La serie de SSD GP de Kioxia, basada en XL-FLASH, es un representante de esta dirección.

CMX se orienta principalmente a la caché KV. Despliega SSD en nodos de datos independientes, conectados a los nodos de cálculo mediante DPU, Ethernet y chips de conmutación. Su objetivo es compartir el contexto de inferencia entre distintas GPU, reducir el almacenamiento duplicado y superar el límite de capacidad de memoria de un único servidor.

Todas estas soluciones apuntan a una misma tendencia: los sistemas de IA no pueden mantener todos los datos activos a largo plazo en la HBM; necesitan distribuirlos en distintos niveles según la frecuencia de acceso y los requisitos de latencia.

Los datos calientes permanecen en la HBM, parte del contexto se traslada a la DRAM del sistema o a SSD de alto rendimiento, y los datos más fríos bajan a SSD normales, HDD e incluso cinta. Cuanto más fino sea el nivel de memoria, más probable es que el sistema logre un equilibrio entre rendimiento y coste.

Las nuevas tecnologías aparecen con intensidad, pero la comercialización sigue siendo incierta

En torno al "muro de la memoria", la cadena industrial ha propuesto varias rutas nuevas.

El zHBM de Samsung planea apilar la HBM sobre el procesador para acortar aún más la distancia de transmisión de datos. Sin embargo, este diseño necesita gestionar el calor generado por la GPU y plantea mayores exigencias de rendimiento y coste para la unión híbrida a nivel de oblea.

El NVHBM impulsado por Nvidia deja el diseño del die base en manos de Nvidia, y es posible que lo fabrique TSMC. Esta solución promete reducir el consumo y aumentar el ancho de banda, pero también puede debilitar el valor de diseño y fabricación de los fabricantes de memoria en el die base de HBM. A medida que el producto se estandarice, parte del valor añadido podría pasar de los fabricantes de memoria a Nvidia y a las fundiciones.

El HBF impulsado por SanDisk y SK Hynix busca utilizar NAND para ofrecer un ancho de banda cercano al de HBM, con mayor capacidad y menor coste unitario. Sin embargo, la NAND y la DRAM siguen teniendo diferencias significativas en latencia y rendimiento, y el HBF necesita superar varios niveles tecnológicos, por lo que su implementación no es nada fácil.

El ZAM de Intel intenta rotar el die de DRAM 90 grados para mejorar la disipación de calor, con el objetivo de lograr una implementación práctica en el año fiscal 2029; el HBC de Qualcomm utiliza LPDDR y encapsulado tradicional, sacrificando parte del rendimiento para evitar el coste de CoWoS.

Además, PIM intenta añadir capacidad de cálculo directamente en el chip de memoria para reducir el movimiento de datos entre el procesador y la memoria. Pero esto cambia la arquitectura de cálculo existente, requiere la adaptación conjunta del procesador, el software y la red, y también afecta al sistema de división del trabajo, ya muy maduro, entre chips lógicos y chips de memoria. Bernstein considera que su adopción en la industria sigue siendo limitada.

Por tanto, el rápido aumento del número de soluciones nuevas no significa que todas las rutas vayan a formar un mercado a gran escala. La compatibilidad con el ecosistema de software y hardware existente, la ventaja de coste y el equilibrio de intereses entre los distintos actores de la cadena de suministro determinarán el resultado comercial final.

Los beneficiarios del almacenamiento para IA no serán solo los fabricantes de HBM

Desde el punto de vista de la inversión, el juicio de Bernstein es bastante claro: el impulso de la IA a la industria del almacenamiento se está extendiendo desde unos pocos productos de gama alta a más niveles.

La HBM sigue siendo el núcleo del entrenamiento y la inferencia de alto rendimiento, y Samsung Electronics, SK Hynix y Micron seguirán beneficiándose de la demanda de memoria de gran ancho de banda. Pero a medida que crece la escala de la inferencia, la importancia de la DRAM de sistema y la NAND aumentará. El desbordamiento de la caché KV, las bases de datos RAG y la gran cantidad de datos intermedios generados por los agentes también incrementarán la demanda de SSD y almacenamiento compartido.

Los datos más fríos seguirán bajando de nivel. Bernstein afirma que el crecimiento de datos impulsado por la IA ya está beneficiando a los HDD; en algunos escenarios, debido a la insuficiente capacidad de NAND y HDD, también está aumentando la demanda de cinta, tradicionalmente utilizada sobre todo para archivado.

El informe mantiene la calificación de "superior al mercado" para Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate y Western Digital. Samsung Electronics, SK Hynix y Micron corresponden a DRAM y HBM; SanDisk se beneficia de NAND y HBF; y Seagate y Western Digital corresponden al almacenamiento masivo de menor coste. Kioxia recibe la calificación de "inferior al mercado".

Sin embargo, el valor central de este informe no reside en enumerar una serie de siglas de nuevas tecnologías, sino en redefinir los límites del mercado de almacenamiento para IA.

En la era del entrenamiento, el cuello de botella se concentraba principalmente en la GPU y la HBM; en la era de la inferencia y los agentes, el cuello de botella empieza a extenderse por todo el sistema de memoria. La competencia futura en infraestructura de IA dependerá tanto de la rapidez con que los chips puedan calcular como de la eficiencia con que los datos puedan fluir entre HBM, DRAM, NAND y almacenamiento compartido a un coste suficientemente bajo.