HBM(고대역폭 메모리)는 무엇일까?

요즘 AI 반도체, GPU, 챗GPT 서버 같은 데서 자주 언급되는 핵심 부품이 바로 HBM (High Bandwidth Memory, 고대역폭 메모리)이다. HBM은 데이터를 훨씬 빠르게 주고받을 수 있게 만든 초고속 메모리로써 마치 일반 도로 대신 고속도로를 깔아주는 느낌이라고 할 수 있다. 

대역폭(Bandwidth)이란?

CPU나 GPU가 메모리에서 얼마나 빠르고 많이 데이터를 가져올 수 있는지 나타내는 단위로써 ‘1초당 정보 이동량’, 즉 데이터 통로의 넓이라고 생각하면 된다. 비유를 들자면 아래와 같다.

- DDR5 메모리: 일반 차선 4개 도로 
- HBM : 고속도로 차선 64개 + 톨게이트 없음

 

기존 메모리 vs HBM 비교

항목	DDR5 (일반 메모리)	HBM (고대역폭 메모리)
배치 방식	메모리 슬롯에 수평으로 꽂힘	칩 위에 수직으로 쌓음 (3D TSV 기술)
대역폭	상대적으로 낮음	최대 10배 이상 빠름
전력 효율	중간	낮은 전력으로 고속 전송
사용 분야	PC, 서버, 스마트폰	AI, 고성능 컴퓨팅, GPU, 데이터센터

 

왜 빠른가?

핵심 기술 = 3D 스택(적층) + TSV(Through-Silicon Via)

- DRAM 칩을 위로 여러 층 쌓고, 각 층을 미세 구멍(구리 배선)으로 수직 연결

• 데이터가 짧은 거리에서 오가고
• 병렬 통로가 많아져서
• 한꺼번에 더 빠르고 많은 정보 처리 가능

=> 마치 초고층 아파트의 각 층을 엘리베이터로 수직 연결한 느낌이에요

 

HBM의 진화 (버전별 특징)

버전	대역폭(GB/s)	적층 수	출시 시기
HBM1	약 128	4단	2015
HBM2	약 256	8단	2016
HBM2E	약 460	8단	2019
HBM3	800~1000+	12단 이상	2022~
HBM3E	1,200+	차세대 (AI용 핵심)	2024~

최신 엔비디아 H100 / B100 같은 AI GPU에 쓰이는 건 HBM3 / HBM3E이다.

 

왜 AI에 HBM이 꼭 필요할까?

AI 연산 = 수많은 데이터를 빠르게 불러와야 함

챗GPT처럼 수십억 개 파라미터를 계산하려면, GPU가 초당 수TB의 데이터를 메모리에서 불러오는 속도가 생명이다. HBM이 없으면 아무리 GPU가 빨라도 데이터 공급이 느려서 병목현상(Bottleneck)이 발생한다.

 

주요 기업

기업	역할
SK하이닉스	세계 1위 HBM 공급 기업
삼성전자	HBM2~HBM3E 생산 중, 점유율 2위
마이크론(Micron)	최근 HBM3E 개발 가속화
TSMC	HBM을 GPU 칩과 함께 패키징하는 핵심 파운드리
엔비디아(NVIDIA)	HBM을 사용하는 대표 AI GPU 제조사

 

HBM은 GPU와 데이터를 빠르게 주고받을 수 있는 고속도로 같은 시스템이다. 아무리 GPU가 슈퍼컴퓨터라도 느린 계단을 쓴다면 제 속도를 낼 수 없는데, HBM은 그 GPU에 딱 맞는 초고속 엘리베이터라고 할 수 있다.