삼성은 3단계 HBM 로드맵을 제시했습니다. 첫 번째 단계는 컴퓨팅 칩에 DRAM을 직접 적층하는 진정한 3D ZHBM으로 나아가는 것입니다.

삼성의 3단계 HBM 진화 로드맵은 컴퓨팅 칩 위에 DRAM을 수직으로 쌓는 "zHBM" 아키텍처를 구현하는 것을 목표로 합니다. 삼성은 zHBM이 HBM4E 대비 전력 소비를 70% 절감하고 대역폭을 230% 증가시키는 동시에 GPU에 100W의 열 관리 여유 공간을 추가로 제공한다고 주장합니다.

최근 핫칩스 기술 컨퍼런스에서 삼성 DRAM 설계팀의 한상욱 대표는 HBM 진화를 위한 삼성의 3단계 로드맵을 공식 발표했습니다. 이 로드맵의 최종 목표는 zHBM이라는 완전히 새로운 아키텍처로, GPU나 TPU와 같은 컴퓨팅 칩에 DRAM을 직접 수직으로 적층하여 2.5D 인터포저를 완전히 없애는 방식입니다.

8월 23일 wccftech의 보도에 따르면, 삼성은 zHBM 솔루션이 표준 HBM4E에 비해 전력 소비를 70% 절감하고, DRAM 대역폭을 230% 증가시키며, DRAM 모듈당 100W의 전력을 절약하는 동시에 GPU에 8.3%의 추가 전력 여유 공간을 확보한다고 밝혔습니다.

HBM이란 무엇이며, 병목 현상은 어디에 있습니까?

HBM(고대역폭 메모리)은 현재 AI 학습 및 추론 시스템에서 가장 중요한 저장 구성 요소 중 하나입니다. HBM은 두 가지 유형의 칩으로 구성됩니다.

C-다이(코어 칩) : DRAM 메모리 셀을 포함하며 최대 16층까지 수직으로 쌓을 수 있습니다.

B-다이(베이스 다이) : 전체 스택 구조의 가장 아래쪽에 위치하며, 다양한 DRAM 제어 기능을 처리하고 PHY(물리 인터페이스 계층)를 통해 GPU와 같은 컴퓨팅 칩과 통신하는 역할을 합니다.

두 부분은 TSV(Through-Silicon Via)라는 칩을 관통하는 수직 전도성 채널을 통해 연결됩니다.

Wccftech에 따르면 현재 각 HBM4 스택의 대역폭은 3TB/s를 초과하며, HBM4E는 4TB/s 범위로 더욱 발전하고, HBM5는 HBM4의 대역폭을 두 배로 늘려 60GB 이상의 용량을 제공합니다.

하지만 대역폭의 지속적인 확장은 두 가지 주요 제약 조건에 직면해 있습니다. 하나는 TSV의 개수와 간격에 대한 물리적 한계 이고, 다른 하나는 베이스 다이 내 PHY 인터페이스의 I/O 개수 및 속도의 상한선입니다 . 동시에 B-다이와 컴퓨팅 칩(xPU SoC) 간의 공정 세대 격차가 세대를 거듭할수록 좁아지고 있는데, 이는 삼성의 로드맵에 있어 도전 과제이자 동시에 진입점이기도 합니다.

1단계: 컴퓨팅 칩을 위한 공간 확보

삼성 로드맵 1단계의 핵심 목표는 xPU(컴퓨팅 칩)에서 실리콘 면적을 "되찾는" 것 입니다.

삼성은 HBM4 베이스 다이(B-다이)에 D1c 및 4nm 로직 공정을 적용했는데, 이는 주로 전력 소비를 줄이고 유효 면적을 축소하기 위한 것입니다. 이는 DRAM과 첨단 로직 공정의 진정한 통합의 시작을 의미합니다.

구체적인 조치 사항은 다음과 같습니다.

기존의 HBM PHY를 D2D 인터페이스로 대체하면 채널 길이가 단축되어 에너지 효율이 직접적으로 향상되는 동시에 XPU를 위한 귀중한 실리콘 공간을 확보할 수 있습니다.

XPU의 메모리 컨트롤러 기능을 cHBM B-die로 옮기면 XPU 면적이 5%에서 10% 정도 확보되어 성능이 10%에서 20% 향상될 것으로 예상됩니다.

본 논문에서는 B-다이의 유휴 공간을 활용하여 SRAM 복구 리소스를 배치하는 세밀한 SRAM 기반 복구 방식(Near-MC SRAM 기반 셀 복구)을 소개합니다.

면적 축소의 부작용 중 하나는 핫스팟 문제입니다. 이를 해결하기 위해 삼성은 cHBM4 솔루션 위에 구축된 히트 패스 블록(HPB) 기술을 도입하여 최고 온도를 35% 이상 낮추고 PHY 영역의 50%를 커버할 수 있습니다.

2단계: B-다이 칩의 컴퓨팅 성능이 "향상"하기 시작합니다.

두 번째 단계의 초점은 "공간 확보"에서 "기능 추가"로 옮겨갔는데, 삼성은 이를 기능 확장 단계 라고 정의합니다.

메모리 용량 확장. 대규모 AI 모델의 컨텍스트 윈도우가 급격히 확장됨에 따라 키-값 캐시(모델 추론 중 중간 상태를 저장하는 데 사용되는 메모리 영역)에 대한 수요가 기하급수적으로 증가하고 있습니다. 삼성은 기본 다이의 사용되지 않는 실리콘 영역에 메모리 확장 컨트롤러와 PHY를 통합하여 외부 LPDDR 또는 HBM 솔루션을 통해 시스템의 가용 메모리 용량을 확장할 계획입니다.

통합 처리 장치(PE). 삼성은 또한 일부 컴퓨팅 처리 소자(Processing Elements, PE)를 베이스 다이에 통합하여 xPU에서 수행해야 하는 일부 연산 작업을 메모리 측으로 오프로드함으로써 D2D 대역폭 요구 사항, 전력 소비 및 발열 부담을 줄이는 방안을 제안했습니다. 이러한 폼 팩터를 AHBM(Advanced HBM)이라고 합니다.

신뢰성과 테스트 기능을 향상시킵니다. 2단계에서는 수율과 테스트 범위를 개선하기 위해 고급 RAS(신뢰성, 가용성, 서비스 용이성) 센서와 실시간 원격 측정 기능, 그리고 온칩 자체 테스트(ATIP) 기능을 베이스 다이에 통합합니다.

3단계: zHBM – 인터포저 레이어를 제거하여 DRAM을 컴퓨팅 칩에 직접 적용합니다.

세 번째 단계는 전체 로드맵의 최종 형태인 zHBM 입니다.

현재 주류 AI 시스템은 GPU와 HBM을 동일한 인터포저에 나란히 배치하고 수평 인터커넥트를 통해 데이터를 전송하는 2.5D 패키징 아키텍처를 사용합니다. zHBM 방식은 DRAM을 xPU 칩에 직접 적층하여 진정한 3D 수직 통합을 구현함으로써 이 구조를 "수직"으로 통합하는 것입니다.

삼성은 zHBM의 주요 특징을 다음과 같이 설명합니다.

분산 I/O : HBM 스택 내 데이터 전송 거리 최소화

3D 구조 : 기존의 2D 인터페이스를 없애 시스템 효율성을 크게 향상시킵니다.

목표 I/O 전력 소비량은 비트당 약 0.5 pJ입니다 . 이는 SerDes와 같은 중복 모듈을 제거함으로써 달성됩니다.

대역폭이 2.3배 이상 증가했으며, 시스템 열 여유 용량은 100W에 도달했습니다.

삼성의 시연 솔루션은 XPU 위에 쿼드 스택 zHBM 레이어를 쌓는 방식이었습니다.

이러한 목표를 달성하기 위해 삼성은 WoW(웨이퍼 온 웨이퍼) 와 HCB(하이브리드 큐브 본딩) 라는 두 가지 핵심 패키징 기술을 개발하여 초고밀도 I/O 구현을 실현하고 궁극적으로 통합 SoC-DRAM 공동 설계 시스템을 구축하고 있습니다.

로드맵의 핵심 논리

삼성의 발표 핵심은 HBM 베이스 다이를 "수동적인 데이터 전송 스테이션"에서 "능동적인 컴퓨팅 기능을 갖춘 지능형 파트너"로 재정립하는 것이었습니다.

세 단계로 이루어진 진화 논리는 명확합니다. 첫째, 공정 업그레이드를 통해 면적을 줄이고 xPU 공간을 확보합니다(1단계). 둘째, 확보된 공간을 활용하여 더 많은 기능을 통합하고 용량과 컴퓨팅 성능을 확장합니다(2단계). 마지막으로, 3D 수직 통합을 통해 시스템 아키텍처를 완전히 재구축하여 전력 소비, 대역폭 및 열 관리 측면에서 획기적인 발전을 이룹니다(3단계).

삼성은 결론에서 "첨단 패키징과 통합 SoC-DRAM 공동 설계 기술을 완성함으로써 AI 시스템의 전력 소비, 면적, 용량 제약을 극복하고 향후 더욱 효율적이고 고성능이며 확장성이 뛰어난 AI 시스템을 구현할 수 있는 길을 열겠다"고 밝혔습니다.