번스타인, 7대 메모리 평가: HBM 이후 DRAM과 NAND가 차세대 조 단위 시장 경쟁

지난 2년간 AI 스토리지 시장의 내러티브는 거의 전적으로 HBM을 중심으로 전개되었다. 그러나 대형 모델이 학습에서 대규모 추론으로 전환되면서 단순히 HBM을 늘리는 것만으로는 모든 문제를 해결하기 어려워졌다.

번스타인은 최신 글로벌 스토리지 보고서에서 AI 워크로드별 메모리 요구 사항이 뚜렷이 다르다고 지적했다. 학습은 컴퓨팅 성능과 대역폭을 강조하고, 추론의 디코딩 단계는 용량에 더 의존하며, RAG는 대규모 데이터베이스가 필요하고, 에이전트 워크플로는 기존 서버와 AI 서버 모두에 부담을 가중시킨다.

이는 AI가 가져온 변화가 HBM에서 시스템 DRAM, SSD, HDD, 심지어 테이프 스토리지까지 전파되고 있음을 의미한다. '메모리 월'을 둘러싸고 산업 체인은 기존 계층 사이에 새로운 제품을 삽입하여 성능, 용량, 비용 간의 새로운 균형점을 모색하기 시작했다.

추론 규모의 상한선, KV Cache가 좌우할 수도

대형 모델 학습 단계에서는 GPU와 HBM이 여전히 핵심 위치를 차지한다.

학습은 모델 파라미터와 중간 데이터를 빈번하게 읽어야 하므로 컴퓨팅 성능과 메모리 대역폭에 대한 요구가 모두 높다. 그러나 대형 모델 학습은 HBM에만 의존하지 않는다. 원시 데이터셋은 비용이 더 낮은 스토리지 매체에 저장되어야 하며, 데이터가 GPU로 들어가기 전에 일반적으로 시스템 DRAM과 로컬 SSD가 캐싱과 전처리를 완료한다. 수 주에서 수 개월에 걸친 학습은 하드웨어나 소프트웨어 오류로 작업이 처음부터 다시 시작되는 것을 방지하기 위해 정기적으로 체크포인트를 저장해야 한다.

따라서 한 번의 대규모 학습은 실제로 HBM, 시스템 DRAM, 로컬 SSD, 네트워크 스토리지에 이르는 전체 체계를 활용한다.

추론 단계에 들어서면 메모리 요구 사항은 더욱 세분화된다.

추론은 일반적으로 프리필(Prefill)과 디코드(Decode)의 두 단계로 나눌 수 있다. 프리필은 사용자 입력을 처리하고 첫 번째 토큰을 생성하는 역할을 하며, 주로 대규모 행렬 연산을 수행하므로 '컴퓨팅 제한'에 가깝다. 이 단계에서는 GPU 활용률과 HBM 대역폭이 더 중요하며, 일반적인 지표는 첫 토큰 지연 시간이다.

디코딩 단계는 다르다. 모델은 토큰을 하나씩 생성해야 하며, 새 토큰을 생성할 때 이전에 생성된 정보를 참조한다. 반복 계산을 피하기 위해 시스템은 일반적으로 이러한 데이터를 KV Cache에 저장한다.

KV Cache에는 두 가지 중요한 특징이 있다. 용량은 컨텍스트 길이에 따라 선형적으로 증가하며, 각 사용자는 독립적인 캐시가 필요하다. 따라서 컨텍스트가 길어지고 동시 사용자가 증가하면 두 요인이 함께 메모리 사용량을 높인다.

번스타인은 대규모 AI 배포에서 KV Cache가 차지하는 메모리가 모델 가중치를 초과하여 동시 사용자 수와 컨텍스트 창을 제한하는 주요 요인이 될 수 있다고 본다. 모델이 얼마나 많은 사용자를 서비스하고 얼마나 긴 컨텍스트를 유지할 수 있는지는 궁극적으로 수익 규모에 직접적인 영향을 미친다.

이러한 관점에서 추론 시대의 경쟁 핵심은 칩이 얼마나 많은 계산을 완료할 수 있는지뿐만 아니라, 시스템이 계속 확장되는 컨텍스트를 얼마나 낮은 비용으로 저장하고 읽을 수 있는지에도 달려 있다.

RAG와 에이전트, 수요를 기존 메모리로 확산

RAG와 에이전트의 보급으로 AI 스토리지 수요는 HBM 너머로 더욱 확산되고 있다.

RAG는 주로 데이터베이스 구축과 데이터베이스 검색의 두 단계로 구성된다. 데이터베이스 구축 시 시스템은 PDF, 웹 페이지, 코드 등 대량의 비정형 데이터를 처리한 후 검색 가능한 벡터와 인덱스로 변환해야 한다. 이 과정은 대용량 SSD와 시스템 DRAM에 더 의존하며, HBM의 역할은 상대적으로 제한적이다.

데이터베이스가 구축된 후 사용자 쿼리는 먼저 벡터로 변환된 다음 데이터베이스의 콘텐츠와 매칭된다. 벡터 생성은 GPU와 HBM에서 빠르게 완료될 수 있지만, 실제 검색은 일반적으로 시스템 DRAM에 더 의존한다. 검색 결과는 사용자 질문과 결합되어 정상적인 프리필 및 디코딩 프로세스로 들어간다.

에이전트 워크플로가 가져오는 부담은 더 무겁다.

기존 대화는 일반적으로 '입력-모델-출력'의 단일 호출이지만, 에이전트는 목표를 여러 단계로 분해하고 다른 모델이나 외부 도구를 호출하며 중간 결과를 저장하고 피드백에 따라 계획을 재조정해야 한다. 각 호출에서 생성된 결과는 다음 모델 호출의 입력이 될 수 있다.

이는 두 가지 유형의 수요를 동시에 증가시킨다. 한편으로 도구 호출과 비AI 작업에는 더 많은 CPU와 시스템 메모리가 필요하다. 다른 한편으로 여러 모델 간에 컨텍스트가 지속적으로 전달되면서 프리필, 디코딩, KV Cache 부담이 빠르게 확대된다.

따라서 에이전트 애플리케이션의 발전은 GPU와 HBM에만 유리한 것이 아니라 서버 DRAM, 엔터프라이즈 SSD 및 더 낮은 비용의 스토리지 매체에 대한 수요도 끌어올릴 수 있다.

HBM과 SSD 사이, 새로운 메모리 계층이 싹트고 있다

기존 서버의 메모리 시스템은 대략 프로세서 내부 캐시, 시스템 DRAM, 로컬 SSD, 공유 스토리지로 나눌 수 있다. AI 서버는 이 구조에 HBM을 추가했지만, HBM은 용량이 제한적이고 비용이 높아 모든 데이터를 감당하기 어렵다.

현재 산업 체인의 해결책은 서로 다른 계층 사이에 새로운 제품을 추가하는 것이다.

CXL은 물리적으로 분산된 메모리를 공유 리소스 풀로 통합하여 CPU, GPU, 확장 장치가 DRAM을 더 유연하게 호출할 수 있도록 시도한다. 일부 제품은 DRAM이나 SRAM을 캐시로 사용하여 NAND와 결합함으로써 비용을 낮추면서 액세스 지연 시간을 단축한다.

엔비디아가 추진하는 'Storage Next'는 스토리지 관리의 일부를 CPU에서 GPU로 이전하고, NAND가 DRAM에 더 가까운 지연 시간, IOPS, 데이터 액세스 세분성을 확보하도록 시도한다. 키옥시아가 XL-FLASH를 기반으로 출시한 GP 시리즈 SSD가 이 방향의 대표적인 사례다.

CMX는 주로 KV Cache를 대상으로 한다. SSD를 독립 데이터 노드에 배치하고 DPU, 이더넷, 스위치 칩을 통해 컴퓨팅 노드와 연결한다. 목표는 서로 다른 GPU 간에 추론 컨텍스트를 공유하여 중복 저장을 줄이고 단일 서버의 메모리 용량 한계를 돌파하는 것이다.

이러한 솔루션들은 공통적으로 하나의 추세를 가리킨다. AI 시스템은 모든 활성 데이터를 장기간 HBM에 보관할 수 없으며, 데이터의 액세스 빈도와 지연 시간 요구 사항에 따라 서로 다른 계층에 분산해야 한다.

핫 데이터는 HBM에 남고, 일부 컨텍스트는 시스템 DRAM이나 고성능 SSD로 이동하며, 더 차가운 데이터는 일반 SSD, HDD, 심지어 테이프로 계속 내려간다. 메모리 계층이 세분화될수록 시스템은 성능과 비용 간의 균형을 달성할 가능성이 높아진다.

신기술이 밀집 출현하지만 상용화에는 여전히 불확실성

'메모리 월'을 둘러싸고 산업 체인은 이미 여러 새로운 경로를 제시했다.

삼성의 zHBM은 HBM을 프로세서 위에 적층하여 데이터 전송 거리를 더욱 단축할 계획이다. 그러나 이 설계는 GPU에서 발생하는 열을 처리해야 하며, 웨이퍼 레벨 하이브리드 본딩의 수율과 비용에 더 높은 요구 사항을 부과한다.

엔비디아가 추진하는 NVHBM은 베이스 다이 설계를 엔비디아가 담당하고 TSMC가 제조할 가능성이 있다. 이 솔루션은 전력 소비를 낮추고 대역폭을 높일 수 있지만, HBM 베이스 다이에 대한 메모리 업체의 설계 및 제조 가치를 약화시킬 수 있다. 제품이 표준화되면서 일부 부가가치가 메모리 업체에서 엔비디아와 파운드리로 이전될 수 있다.

샌디스크와 SK하이닉스가 추진하는 HBF는 NAND를 사용하여 HBM에 가까운 대역폭을 제공하면서 더 큰 용량과 더 낮은 단위 비용을 확보하고자 한다. 그러나 NAND와 DRAM은 지연 시간과 성능에서 여전히 상당한 격차가 있으며, HBF는 여러 기술 계층을 넘어야 하므로 실현 난이도가 낮지 않다.

인텔의 ZAM은 DRAM 다이를 90도 회전시켜 방열을 개선하려는 시도로, 2029 회계연도에 실용화를 목표로 한다. 퀄컴의 HBC는 LPDDR과 기존 패키징을 사용하여 일부 성능을 희생하는 대신 CoWoS 비용을 우회한다.

또한 PIM은 스토리지 칩에 직접 컴퓨팅 기능을 추가하여 프로세서와 메모리 간의 데이터 이동을 줄이려고 시도한다. 그러나 이는 기존 컴퓨팅 아키텍처를 변경해야 하며 프로세서, 소프트웨어, 네트워크의 공동 적응이 필요하고, 이미 고도로 성숙한 로직 칩과 메모리 칩의 분업 체계에도 충격을 줄 수 있다. 번스타인은 업계 채택이 여전히 제한적이라고 평가한다.

이러한 관점에서 새로운 솔루션의 수가 빠르게 증가한다고 해서 모든 경로가 규모 있는 시장을 형성할 수 있는 것은 아니다. 기존 소프트웨어 및 하드웨어 생태계와의 호환성, 비용 우위 확보 여부, 공급망 각 주체 간의 이익 균형 달성 여부가 최종 상용화 결과를 결정할 것이다.

AI 스토리지 수혜자는 HBM 업체만이 아니다

투자 관점에서 번스타인의 판단은 비교적 명확하다. AI가 스토리지 산업에 미치는 견인 효과가 소수의 고급 제품에서 더 많은 계층으로 확산되고 있다는 것이다.

HBM은 여전히 학습과 고성능 추론의 핵심이며, 삼성전자, SK하이닉스, 마이크론은 고대역폭 메모리 수요의 혜택을 계속 받을 것이다. 그러나 추론 규모가 확대되면 시스템 DRAM과 NAND의 중요성이 높아진다. KV Cache 오버플로, RAG 데이터베이스, 에이전트가 생성하는 대량의 중간 데이터도 SSD와 공유 스토리지 수요를 증가시킬 것이다.

더 차가운 데이터는 계속해서 아래로 이동한다. 번스타인에 따르면 AI가 가져온 데이터 증가는 이미 HDD에 혜택을 주기 시작했으며, 일부 시나리오에서는 NAND와 HDD 용량 부족으로 인해 전통적으로 아카이빙에 주로 사용되던 테이프 수요도 증가하고 있다.

보고서는 삼성전자, SK하이닉스, 마이크론, 샌디스크, 씨게이트, 웨스턴디지털에 대해 '시장 수익률 상회' 등급을 계속 부여했다. 이 중 삼성전자, SK하이닉스, 마이크론은 DRAM 및 HBM에 해당하고, 샌디스크는 NAND와 HBF의 혜택을 받으며, 씨게이트와 웨스턴디지털은 더 낮은 비용의 대용량 스토리지에 해당한다. 키옥시아는 '시장 수익률 하회' 등급을 받았다.

그러나 이 보고서의 핵심 가치는 새로운 기술 약어를 나열하는 데 있는 것이 아니라 AI 스토리지 시장의 경계를 재정의하는 데 있다.

학습 시대의 병목은 주로 GPU와 HBM에 집중되었다. 추론과 에이전트 시대에는 병목이 전체 메모리 체계를 따라 확산되기 시작한다. 미래 AI 인프라의 경쟁은 칩이 얼마나 빨리 계산할 수 있는지뿐만 아니라, 데이터가 충분히 낮은 비용으로 HBM, DRAM, NAND, 공유 스토리지 사이를 효율적으로 이동할 수 있는지에 달려 있다.