HBM을 LPDDR로 대체할 수 있다는 뻘소리는 주기적으로 나오는 것 같은데 이에 대한 반박.
(상식적으로 대체가 가능하다면 왜 추론에 대한 이해도가 가장 높은 OpenAI나 Anthropic이 HBM 확보에 그렇게 적극적이겠음?)
1. HBM이 필요하냐 아니냐는 결국 AI 서버에서 메모리 대역폭이 얼마나 중요하냐에 달려 있음.
2. 최근 거론되는 SRAM 기반 아키텍처나 zDRAM 같은 차세대 메모리 기술들도 결국 대역폭과 메모리 접근 효율을 높이기 위한 시도임. 절대 용량까지 희생하면서 대역폭을 확보하려는 방향인데, LPDDR로 HBM을 대체하겠다는 건 이런 흐름과 반대되는 방향임.
3. 추론 영역으로 가면 HBM이 덜 중요해진다는 얘기도 많이 들리는데, 추론은 메모리 대역폭에 더해 절대 메모리 용량도 중요해진다는 거지 HBM 없이 대체가 가능하다는 뜻이 아님. 특히 KV Cache가 차지하는 용량이 커지면서 HBM 외의 다른 메모리 계층까지 중요해지는 것임.
4. AI 서버에서 가장 중요한 지표는 매출과 직결되는 동일시간/전력으로 얼마나 많은 토큰을 처리할 수 있느냐임. 특히 추론 속도와 가장 비례하는 Decode에서는 메모리 대역폭이 핵심 병목임.
5. 메모리 용량이 아무리 커봐야 대역폭이 작으면 GPU의 연산 속도를 따라가지 못함. 사실 HBM조차도 이 병목을 완전히 해결하지 못하고 있음.
6. 대표적인 예시로 현세대 각 DRAM 진영에서 대역폭이 가장 빠른 루빈과 인텔의 D270 메모리 대역폭을 비교하면 22TB/s vs. 1.5TB/s로 비교조차 민망한 수준.
LPDDR 장인 애플도 PHY를 계속 늘려가며 대역폭을 확보하고 있지만, 이 방식이 대규모 AI 서버에서도 경쟁력을 가질 수 있을지는 아직 의문임.
7. HBM이 아무리 비싸다고 한들 결국 AI 서버시장에서 가장 중요한 건 매출과 직결되는 시간당 토큰처리량임. 가격이 2~3배 차이 나더라도 토큰처리량이 10배 이상 차이난다 하면 당연히 서비스제공자들은 후자를 선택함. 특히 AI 서비스가 장시간 추론과 Agent 기반으로 발전하면서 토큰 소비량은 계속 증가하고 있고, 같은 시간에 더 많은 토큰을 처리할 수 있는 시스템의 가치는 더욱 커질 수밖에 없음.
8. 팻 겔싱어가 말한 HBM의 비효율성 자체는 어느 정도 일리가 있음. 높은 제조 비용과 발열, 용량 확장의 제약이라는 트레이드오프가 명백하기 때문임. 다만 HBM이 완벽해서 사용하는 게 아니라 현재 AI 가속기가 요구하는 대역폭을 가장 현실적으로 확보할 수 있기 때문에 사용하는 것임.
9. 과거 서버 DRAM 시장에서 절대적인 영향력을 행사하던 인텔도 AI 서버용 HBM 시장에서는 주도권을 잃은 상황임. AI 전환에 제대로 대응하지 못한 인텔의 전 CEO가 HBM에 부정적인 의견을 내놓았다고 시장의 기술적 방향성이 바뀔 것 같지는 않음.
10. 결국 VS-DRAM(3D-DRAM) 같은 차세대 메모리 기술이 상용화되기 전까지는 HBM을 범용적으로 대체할 만한 대안이 마땅치 않음. 물론 LPDDR도 저비용 추론이나 대용량 메모리가 필요한 일부 영역에서는 경쟁력이 있겠지만, 특정 영역에서 경쟁력이 있다는 것과 AI 서버 전체에서 HBM을 대체한다는 건 완전히 다른 얘기임.
결론은 그냥 요즘 시장 돌아가는 꼬라지를 보면 어떻게든 메모리 주가를 떨어뜨리고 싶은 게 느껴지는 것 같음.
당장은 큰 상승이 어렵더라도 나는 그냥 계속 모아갈 예정.
앞으로 메모리 반도체 관련해서 트렌드가 완전히 바뀔 걸로 보여짐.
오늘 글로벌 테크 업계를 뒤흔든 외신 뉴스 3건이 동시에 떴는데, 그 내용을 나란히 놓고 보면 돌아가는 흐름이 꽤 심상치 않음.
1. 인텔의 '탈(脫)HBM' 선언: 비싼 HBM 빼고 노트북용 램 480GB를 때려 박음
- 인텔이 데이터센터용 차세대 AI GPU(D-시리즈)를 전격 공개했는데, 스펙이 굉장히 기묘함.
- 당연히 들어가야 할 초고가 메모리인 HBM(고대역폭 메모리)이나 GDDR7을 아예 빼버리고, 그 자리에 일반 노트북이나 스마트폰에 들어가는 저렴한 저전력 범용 메모리(LPDDR5X)를 무려 '480GB'나 꽂아 넣었음.
- 엔비디아의 최신 블랙웰 울트라(B300)에 들어가는 HBM3e 용량이 288GB인데, 인텔은 훨씬 값싼 범용 메모리를 써서 용량은 오히려 1.7배로 늘리고 전력 소모는 350W(일반 공랭식)로 확 낮춰버린 거임.
- 왜 이런 짓을 했을까? 이제 AI 시장의 중심이 모델을 처음 만드는 '학습(Training)'에서 실제 서비스를 굴리는 '추론(Inference)·에이전트 구동'으로 넘어가고 있기 때문임.
- 추론 단계에서는 너무 비싼 HBM을 쓸 바에야, 속도가 조금 느려도 값싼 범용 메모리를 대용량으로 때려 박아서 가성비 있게 돌리는 게 훨씬 이득임. 즉 빅테크들이 한국 메모리 기업들의 고마진 돈줄인 'HBM'을 우회하는 가성비 루트를 본격적으로 뚫기 시작했다는 뜻임.
2. 중국 딥시크(DeepSeek) + 화웨이의 '탈(脫)엔비디아·자체 칩' 완전 독립
- 미국이 중국에 엔비디아 첨단 칩과 HBM 수출을 막았을 때만 해도, 다들 "중국은 미리 사둔 엔비디아 칩 재고 다 떨어지면 차세대 AI 학습은 아예 못 해서 무너질 것"이라고 생각했음.
- 실제로 지금까지 딥시크를 비롯한 중국 기업들은 화웨이 칩으로는 단순 서비스 구동(추론)만 겨우 돌리고, 가장 난이도가 높은 '모델 사전학습(Pre-training)'만큼은 제재 전에 사재기해 둔 엔비디아 칩(H800·H20 등)이나 우회 수입 물량에만 의존해 왔음.
- 그런데 방금 디인포메이션(The Information) 보도에 따르면, 지금 '화웨이' 엔지니어들이 아예 딥시크 본사에 상주하며 차세대 칩을 공동 설계하고 있고, 올해 말부터는 가장 난공불락이던 '사전학습'에까지 엔비디아 대신 화웨이 자체 칩(어센드 950DT)을 본격 투입하기로 했다고 함.
- 심지어 엔비디아의 독점 무기인 '쿠다(CUDA)' 소프트웨어를 대체할 자체 툴까지 오픈소스로 풀고 있음.
- 즉, 미국(엔비디아)과 한국(메모리) 반도체를 단 한 개도 쓰지 않고 '중국산 AI(딥시크) + 중국산 칩(화웨이) + 중국산 메모리(CXMT·YMTC)'만으로 최첨단 AI 학습까지 끝내는 기술 독립을 만들어낸 셈.
- 중국의 기술 독립은 한국 매출에도 당연히 큰 영향이 있을 수밖에 없는 게, 작년 기준 삼성전자(약 71조 원·비중 30%)와 하이닉스(약 26조 원)가 중국에 판 물량만 합쳐서 연 97조 원(거의 100조 원)에 달함. 만약 중국이 AI 칩부터 메모리까지 완전한 기술 독립을 이뤄내서 이걸 다 자국산으로 대체해 버리면, 우리가 매년 깔고 가던 100조 원짜리 최대 시장이 그대로 날아가는 셈임.
3. 엔비디아의 갑질 시작: "핵심 두뇌는 TSMC에 맡길 테니, 한국은 위에 얹을 D램만 싸게 가져와라"
- 그럼 남은 엔비디아 HBM 시장에서라도 한국 기업들이 지금처럼 높은 마진을 계속 챙길 수 있을까? 이것도 쉽지 않아 보임.
- 쉽게 설명하면, HBM은 일반 D램 여러 장을 아파트처럼 높게 쌓아 올린 메모리임. 근데 아파트도 그냥 벽돌만 쌓는다고 끝이 아니라, 맨 아래 1층에 전체 데이터를 통제하는 '핵심 두뇌 칩(베이스 다이)'이 들어가야 작동함.
- 지금까지는 삼성이나 하이닉스가 이 1층 두뇌부터 위층 D램까지 통째로 만들어서 납품했기 때문에 기술값도 비싸게 받고 마진도 많이 남겼음. 특히 삼성전자는 "우린 파운드리(반도체 위탁생산 공장)까지 다 있으니까 1층 두뇌부터 꼭대기 D램까지 우리 공장에서 혼자 다 만들 수 있다"는 걸 최대 무기로 밀었음.
- 그런데 방금 로이터(Reuters) 보도에 따르면, 엔비디아가 차세대 HBM부터 삼성·하이닉스·마이크론 3사에 새로운 조건을 통보함.
- "앞으로 1층에 들어갈 핵심 두뇌는 엔비디아 방식대로 통일할 거고, 생산도 무조건 대만 TSMC(3나노) 공장에서 만들어라. 너희는 그 위에 올릴 D램만 똑같은 규격으로 만들어 와라"라고 요구한 거임.
- 결국 자존심 세우던 삼성전자조차 엔비디아에 납품을 해야 하니 어쩔 수 없이 사상 처음으로 경쟁사인 대만 TSMC 공정을 쓰기로 합의함.
- 이게 의미하는 바는 아주 명확함. 가장 부가가치가 높은 '1층 핵심 두뇌'는 엔비디아와 TSMC가 다 해 먹고, 앞으로 삼성·하이닉스·마이크론은 엔비디아가 정해준 똑같은 규격에 맞춰 '그냥 위에 쌓을 D램 벽돌만 납품하면서 누가 더 싸게 주나 단가 경쟁을 해야 하는 하청 구조'로 밀려나고 있다는 뜻임.
정리해보면 지금 반도체 판에서 동시에 벌어지고 있는 트렌드 변화는 딱 이 3가지임.
- 한쪽(인텔·빅테크)에서는 "HBM 너무 비싸서 못 쓰겠다"며 저렴한 일반 메모리(LPDDR5X)로 우회로를 뚫고 있고,
- 한쪽(중국 딥시크·화웨이)에서는 아예 미국·한국 반도체를 안 쓰고 자기들끼리 다 해 먹는 자체 생태계를 만들고 있으며,
- 가장 큰 고객(엔비디아)은 HBM의 핵심 두뇌를 대만 TSMC에 몰아주면서 한국 기업들을 단순 D램 납품 하청으로 길들이기 시작했음.
정작 돈을 쓰는 글로벌 빅테크 플레이어들은 이미 '비싼 HBM 이후의 판'을 조용히, 그리고 아주 냉혹하게 새로 짜고 있는 상황이라 앞으로 시장에 다양한 격변이 일어날 것으로 보여짐.