삼성전자가 인공지능(AI) 가속기 위에 고대역폭메모리(HBM)를 3차원(3D)으로 얹는 ‘zHBM’을 통해 AI 에이전트 응답 속도를 10배로 끌어올리겠다는 비전을 제시했다. 김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무는 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘AI 인프라 서밋’ 발표에서 이 같은 목표를 밝혔다. 김 상무는 “현재 대화형 AI 시스템의 응답 속도는 이용자당 1초당 100토큰 수준”이라며 “앞으로 에이전트형 AI를 위해 이를 초당 1000토큰으로 10배 끌어올리는 양자 도약(퀀텀 점프)을 목표로 하고 있다”고 밝혔다. 그는 이 목표를 위해서는 AI 가속기 옆에 HBM을 나란히 배치하는 2.5D 방식이 아니라 가속기 상단에 HBM을 직접 얹는 수직 적층형 ‘zHBM’이 필수라고 강조했다. 김 상무는 이 같은 구조를 “호텔 객실 내에 1층 로비로 직행하는 전용 엘리베이터를 두는 것”이라고 비유했다. 데이터 이동 거리와 지연 시간을 극단적으로 줄일 수 있다는 설명이다. zHBM은 HBM5와 비교해 최대 8배 성능과 3배 이상의 전력 효율을 구현할 수 있다고 했다. 이날 AI 인프라 서밋에서는 AI 서비스의 핵심 기술로 꼽히는 고대역폭 메모리(HBM)의 독주가 앞으로도 계속 이어질 것이라는 전망도 나왔다. AI 인프라 서밋 패널 토의에 참석한 인텔과 오픈AI의 기술진은 HBM을 대신할 기술로 주목받아온 ‘컴퓨트익스프레스링크’(CXL)에 부정적인 견해를 내보였다. 오픈AI 관계자는 “AI 모델을 실제 구동하는 입장에서 CXL의 쓰임새를 찾지 못하겠다”고 말했다.

최근 열린 ‘핫 칩스 2026’ 행사에는 삼성과 SK 하이닉스가 공개한 미래 고대역폭 메모리(HBM) 로드맵이 관심을 끌었습니다. HBM4까지 발전한 상태에서 두 회사 모두 같은 발열과 전력 소모 증가, 복잡도 증가 같은 문제에 직면한 상태이며 비슷하지만 약간 다른 방식을 통해 이 문제를 풀어가기 위해 노력하고 있습니다. 아마도 가장 비슷한 점은 궁극적으로 HBM 메모리를 그래픽처리장치(GPU) 같은 프로세서 위에 올리려고 한다는 점일 것입니다. 일단 SK 하이닉스는 HBM4E와 HBM5에서 당면한 문제를 해결하기 위해 몇 가지 해결책을 몇 가지 제시했습니다. 이미 올해 초 CES에서 SK 하이닉스는 HBM4 16단(16Hi) 제품을 공개하면서 용량 48GB 용량, 대역폭 2.9TB/s의 스펙을 자랑한 바 있습니다. 이처럼 높은 용량과 대역폭은 여러 층의 D램 다이를 관통하는 TSV(실리콘 관통 전극) 덕분입니다. HBM4에서는 TSV 수가 이미 2만 개를 넘어섰고 HBM의 최하층에 있는 베이스 다이는 GPU와 데이터를 고속으로 주고받기 위해 1만 6148개의 베이스 마이크로 범프로 실리콘 인터포저와 연결되어 있습니다. 문제는 앞으로입니다. 다음 세대 HBM 메모리에서는 속도를 더 높이기 위해 TSV 간 거리를 지금보다 더 줄여 18㎛ 미만으로 낮춰야 하는데, 이미 마이크로 범프 간 간격이 너무 줄어든 상황입니다. 따라서 아예 범프 없이 인터포저에 직접 접합하는 하이브리드 본딩(hybrid bonding) 기술이 시도되고 있습니다. 현재 12-Hi 하이브리드 본딩 HBM이 검증 완료된 상태이고 앞으로 16-20Hi 스택 하이브리드 본딩 기술을 개발해 장기적으로 HBM4E/HBM5에 적용할 계획입니다. 하지만 하이브리드 본딩 기술이 발열 문제는 해결해 주지 못합니다. 그래서 SK 하이닉스는 iHBM (ICE-HBM)이라는 냉각 기술을 개발 중입니다. 이는 열이 많이 발생하는 부위에 높은 열전도율과 전기 절연성을 갖춘 냉각 소자를 내장하여 열 저항을 30% 이상 줄이는 기술입니다. 다만 더 장기적으로 보면 HBM – 실리콘 인터포저 – GPU/CPU의 구조는 늘어나는 전력 소모와 복잡도를 감당하기 점점 힘들어집니다. 가장 좋은 방법은 아예 메모리와 프로세서 간격을 최대한 짧게 만들기 위해 아예 붙여 버리는 것입니다. 그러면 전기적 신호가 매우 짧은 거리를 이동하기 때문에 전력 소모가 줄어들고 속도도 빠르게 할 수 있습니다. 이와 같은 접근법은 삼성전자도 크게 다르지 않습니다. 삼성은 3단계 로드맵을 제시했는데, 우선 첫 단계로 베이스 다이를 고급 로직 공정으로 옮겨 신호를 주고받는 물리적 층인 PHY를 작게 만들고, 메모리 컨트롤러 같은 프로세서 영역을 베이스 다이로 옮길 수 있는 면적을 확보할 예정입니다. 동시에 iHBM과 비슷하지만 조금 다른 냉각 기술인 HPB(Heat Path Block)를 도입해 PHY 영역의 약 50%를 커버하고 피크 온도를 35% 이상 낮출 계획입니다. 두 번째 단계에서는 베이스 다이에 더 많은 기능을 넣어 HBM을 ‘똑똑한 메모리’로 만들고 마지막 단계에서는 아예 HBM을 프로세서 위로 올려 실리콘 인터포저라는 중간 단계를 생략하고 바로 프로세서와 메모리를 고속으로 연결합니다. 이 단계는 기존처럼 가로 방향(lateral)으로 통신하던 방식을 없애고, 수직으로 메모리가 올라가기 때문에 z축이라는 의미에서 zHBM이라고 명명했습니다. 삼성전자는 zHBM을 도입하면 전력 효율 약 70% 향상, D램 대역폭 2.3배 이상 증가, D램 모듈당 약 100W 전력 절감 등의 효과를 거둘 수 있을 것으로 기대하고 있습니다. 다만 해결해야 할 문제도 적지 않습니다. 중간 단계인 실리콘 인터포저를 없애고 아예 프로세서 위에 수직으로 메모리를 올리면 메모리와 프로세서 간 거리를 최대로 좁힐 수 있지만 대신 발열 제어가 어려워집니다. 소비자용 프로세서인 라이젠 X3D의 경우에도 프로세서 위에 캐시 메모리를 올린 후 발열 제어가 어려워 1세대에서는 클럭을 높이는 데 제한이 있었습니다. 이미 전기 먹는 하마가 된 지 오래인 GPU나 서버 CPU는 문제가 더 심각할 수밖에 없습니다. 현재도 수랭식 시스템으로 겨우 열을 제어할 수 있는 상황입니다. 따라서 초기 프로세서 적층형 HBM은 발열 관리를 위해 별도의 열전달 경로를 배치하고 I/O 전력을 대폭 줄이면서 메모리를 16층(16Hi)이 아니라 4층(4Hi) 정도 낮은 높이로 올릴 가능성이 높습니다. 그래도 이미 전력 소모가 감당하기 힘든 수준인 GPU 위에 역시 전기를 많이 먹는 메모리를 올리는 일은 쉽지 않을 가능성이 높습니다. 다만 이제까지 수많은 기술적 어려움을 돌파하면서 성장한 기업들인 만큼 앞으로 새로운 돌파구를 만들어 결국 문제를 해결할 것으로 기대합니다.

삼성전자가 인공지능(AI) 가속기 위에 고대역폭메모리(HBM)를 직접 쌓는 차세대 구조를 제시했다. AI 모델이 진화하면서 커질수록 연산장치와 메모리 사이의 데이터 이동이 병목으로 떠오르자, 둘 사이의 거리를 줄여 성능과 전력 효율을 끌어올리겠다는 구상이다. 삼성전자는 4일(현지시간) 미국 캘리포니아주 샌타클래라에서 개막한 ‘FMS 2026’에서 차세대 3차원 메모리 ‘zHBM’과 ‘zNAND-O’의 모형을 업계 최초로 공개했다. 약 30개 제품을 전시한 삼성전자 부스에는 관람객이 몰렸고, zHBM의 데이터 이동 방식과 향후 적용 가능성을 묻는 질문이 이어졌다. 현재 HBM은 여러 장의 D램을 쌓아 그래픽처리장치(GPU) 등으로 이뤄진 AI 가속기 옆에 둔다. zHBM은 쌓아 둔 HBM 전체를 가속기 상단에 올리는 방식으로 데이터가 오가는 거리를 최소화한다. 삼성전자는 zHBM 적용 시스템이 차세대 HBM5보다 성능은 최대 8배, 전력 효율은 최대 3배 높고 열 저항은 절반 이하로 낮아질 수 있다고 설명했다. 이는 양산품 실측치가 아닌 차세대 구조의 목표 성능이다. 김경륜 삼성전자 D램개발실 상무는 기조연설에서 “현재 HBM이 수년 안에 한계에 부딪힐 것을 모두 알고 있다”며 “이를 돌파할 기술을 생각하면 3차원밖에 없다”고 말했다. 여러 장을 쌓아 올리는 3D 전략은 낸드플래시로 이어진다. 삼성전자가 개발 중인 zNAND-O는 낸드 칩을 4단 또는 8단으로 쌓는다. D램은 처리 속도가 빠르지만 너무 비싸고 공급도 부족하다. 따라서 상대적으로 저렴하고 용량이 큰 낸드의 속도를 개선해 최대한 D램처럼 쓰도록 해보겠다는 구상이다. 이 기술은 스마트폰과 PC 안에서 AI를 구동하는 온디바이스 시장을 겨냥한다. 현재웅 삼성전자 메모리사업부 상무는 “개인마다 집 안에 미니 데이터센터를 갖게 하는 것이 우리의 비전”이라고 말했다. 삼성은 400단 이상을 쌓은 10세대 V낸드 ‘V10 BV-NAND’도 처음 공개했다. 셀과 주변 회로를 따로 만든 뒤 수직으로 붙이는 웨이퍼 본딩과 3스택 기술을 적용해 전 세대보다 집적도를 약 58% 높였다. V10 BV-NAND와 메모리 안에서 일부 연산을 처리하는 LPDDR5X-PIM은 행사 최고 제품상인 ‘베스트 오브 쇼’를 받았다. zHBM처럼 메모리와 AI 가속기를 수직으로 결합하려면 메모리 기술뿐 아니라 파운드리와 첨단 패키징 역량이 함께 필요하다. 삼성전자는 설계부터 제조·패키징까지 한 회사에서 제공하는 ‘원스톱 솔루션’을 경쟁력으로 내세웠다. 한편, SK하이닉스도 샌디스크와 고대역폭 낸드플래시(HBF) 표준을 제시하며 개방형 생태계 구축에 무게를 뒀다. 양사의 차세대 기술 경쟁은 AI가 학습을 넘어 추론 중심으로 빠르게 옮겨가면서 더욱 치열해질 전망이다. FMS에 참석한 시장조사업체 욜그룹은 삼성전자와 SK하이닉스의 투자 확대를 근거로 한국이 2031년까지 메모리 시장 선두를 유지할 것으로 내다봤다.

삼성전자가 인공지능(AI) 반도체의 성능을 떨어뜨리는 데이터 병목을 줄이기 위해 차세대 3차원 메모리 기술을 공개했다. 고대역폭메모리(HBM)를 AI 가속기 위에 직접 쌓아 데이터 이동 거리를 줄이고, 처리 속도와 전력 효율을 함께 높이는 방식이다. 삼성전자는 4일(현지시간) 미국 캘리포니아주 샌타클래라에서 열린 메모리 행사 ‘FMS 2026’ 기조연설에서 차세대 메모리 구조인 ‘zHBM’을 선보였다. 김경륜 삼성전자 D램개발실 상무는 “기존 패키징 구조로는 가속기 칩과 메모리 간 물리적 거리를 줄이는 데 한계가 있다”며 새로운 구조가 필요한 이유를 설명했다. 현재 HBM은 여러 개의 D램을 수직으로 쌓은 뒤 그래픽처리장치(GPU) 등 AI 가속기 옆에 배치한다. AI가 처리하는 데이터가 늘어날수록 가속기와 메모리 사이에서 데이터가 오가는 데 시간이 걸리고 전력 소모도 커진다. 이른바 ‘메모리 장벽’이다. zHBM은 HBM을 가속기 위에 직접 적층해 이 거리를 줄인다. 칩을 가로와 세로 방향으로 배치하던 기존 방식에서 벗어나 높이인 Z축까지 활용한다는 뜻에서 이름 앞에 ‘z’를 붙였다. 삼성전자에 따르면 zHBM은 현재 개발 중인 HBM5와 비교해 GPU당 성능을 최대 8배, 전력 대비 성능을 최대 3배 높일 수 있다. 메모리를 위로 쌓을수록 열이 빠져나가기 어려워지는 문제를 해결하기 위해 열 저항도 HBM5의 10~25% 수준으로 낮췄다. 삼성전자는 zHBM에 앞서 상용화를 추진할 HBM5의 개발 방향도 소개했다. HBM5에는 2나노미터 공정 기반의 베이스 다이와 게이트올어라운드(GAA) 트랜지스터를 적용한다. 메모리 칩 측면으로 열을 내보내는 구조도 도입해 HBM4E보다 성능은 2배 높이고 열 저항은 20% 이상 낮추는 것을 목표로 하고 있다. 낸드 분야에서는 스마트폰과 PC 등 기기 안에서 AI를 구동하는 온디바이스 AI용 ‘z낸드-O’를 공개했다. D램은 빠르지만 비싸고 용량을 늘리는 데 한계가 있는 반면, 낸드는 가격이 낮고 대용량을 구현하기 쉽지만 상대적으로 속도가 느리다. z낸드-O는 낸드의 비용과 용량상 이점을 유지하면서 처리 속도를 끌어올린 제품이다. 이진엽 삼성전자 플래시개발실 부사장은 매개변수 1200억개 규모의 AI 모델을 시험 구동한 결과, z낸드-O가 기존 D램 서버와 같은 초당 토큰 처리량을 내면서도 메모리 비용은 6분의 1에 그친다고 설명했다. 비싼 D램을 대량으로 사용하지 않고도 AI 모델을 빠르게 구동할 수 있다는 의미다. 이 부사장은 기조연설 도중 초소형 기업용 솔리드스테이트드라이브(SSD) ‘BM1773’을 들어 보이며 “믿기 힘들겠지만 이 작은 스토리지 칩 하나가 최고급 세단 한 대 값과 맞먹는다”고 말했다. 이어 “바닥에 떨어뜨린다면 당장 내일부터 새 직장을 구하러 다녀야 할 것”이라고 말해 참석자들의 웃음을 자아냈다. 삼성전자는 이날 400단 이상을 수직으로 쌓은 10세대 V낸드 ‘V10 BV-낸드’도 업계 최초로 공개했다. AI 모델이 고도화하면서 연산을 담당하는 HBM뿐 아니라 방대한 데이터를 저장하는 낸드와 기업용 SSD 수요도 함께 늘어나는 데 대응한 제품이다. 삼성전자는 HBM과 고성능 낸드, 기업용 SSD를 모두 공급할 수 있는 제품군과 양산 역량을 앞세워 AI 데이터센터부터 온디바이스 AI까지 시장을 넓힐 계획이다. 김 상무는 기조연설에서 “삼성이 돌아왔다”며 차세대 AI 메모리 경쟁에 대한 자신감을 나타냈다.

삼성 “HBM4 우리가 최고”강력한 ‘원스톱’ 일괄 공급 역량에칩끼리 직접 붙인 ‘HCB’ 기술 더해단순 제조사 넘어 설계자로 거듭나SK하이닉스 “선두 수성”성능·전력효율·집적도 특화 제품고객사 필요성에 맞춰 달리 공급AI 활용·새 낸드 공정에 효율도 ‘업’ 글로벌 반도체 시장이 인공지능(AI) 혁명에 힘입어 이르면 올해 연간 매출 1조 달러(약 1450조원)를 돌파할 것이라는 전망이 나온 가운데 삼성전자와 SK하이닉스가 각각 ‘구조 혁신’과 ‘맞춤형 대응’이라는 서로 다른 전략으로 맞붙었다. 송재혁 삼성전자 DS부문 최고기술책임자(CTO) 사장은 11일 서울 코엑스에서 개막한 ‘세미콘 코리아 2026’에서 “HBM4 기술에 있어서는 (우리가) 사실상 최고라는 평가를 받았다”고 밝혔다. 그는 삼성 전략의 핵심으로 메모리, 파운드리, 첨단 패키징을 아우르는 ‘턴키’(일괄 공급) 역량을 꼽으며 “특별하고 강력한 삼성 반도체만의 시너지를 보여 줄 계획”이라고 강조했다. 세계 최고의 기술력으로 대응했던 삼성의 ‘원래 모습’을 보여 주겠다는 선언이다. 삼성전자는 이번 행사에서 맞춤형 메모리 ‘cHBM’(커스텀 HBM)과 차세대 아키텍처 ‘zHBM’을 내세웠다. 메모리 스스로 기초 연산을 처리해 데이터 병목 현상을 해결하고, 칩 사이의 범프를 없애 직접 붙이는 하이브리드 코퍼 본딩(HCB) 등을 통해 단순 제조사를 넘어 시스템 설계에 관여하는 ‘아키텍트’로 거듭나겠다는 구상이다. 이처럼 설계부터 생산까지 아우르는 삼성의 ‘원스톱 솔루션’은 시장의 주목을 받고 있다. 이날 로이터 통신 등은 삼성전자가 바이트댄스와 AI 칩 위탁생산 및 메모리 공급 협상에 나섰다고 보도하며 시장의 높은 관심을 뒷받침했다. 시장의 선두인 SK하이닉스는 고객의 요구에 즉각 대응하는 ‘실리 전략’으로 응수했다. 이강욱 SK하이닉스 패키지개발담당 부사장은 이날 AI 서밋에서 “차세대 제품으로 갈수록 고객의 맞춤형 요구가 증가하고 있다”며 ‘HBM B·T·S’라는 새로운 콘셉트를 제시했다. 이는 고객의 필요에 따라 밴드위스(B·성능), 열 방출(T·전력효율), 면적 효율(S·집적도)에 특화된 제품을 각각 공급하겠다는 전략이다. 특히 이 부사장은 “20단 이상의 초고적층 제품에서는 하이브리드 본딩 기술 도입이 필수적일 것”이라며 선두 수성을 위한 기술 로드맵을 구체화했다. 공정 및 연구개발(R＆D) 부문에서도 ‘효율’을 극대화했다. 이성훈 SK하이닉스 R＆D 공정 담당 부사장은 기조연설에서 “기술 난이도가 급상승하는 변곡점에서는 기존 인력 투입 중심의 R＆D는 한계가 있다”며 AI 모델을 통해 물질 탐색 기간을 400분의 1로 줄이는 등 ‘AI 기반 R＆D’로의 패러다임 전환을 강조했다. 아울러 차세대 낸드 공정인 ‘AIP’(All-In-Plug) 기술을 통해 비용을 획기적으로 낮추는 등 HBM에서 쌓은 노하우를 수익성 강화로 연결하겠다는 전략을 내놓았다. 이날 기조연설에 나선 엔비디아의 티머시 코스타 총괄 역시 ‘AI 팩토리’를 화두로 던지며 설계 주기를 단축하고 수율을 높이는 ‘스마트 제조’로의 전환을 주문했다. 기술 경쟁의 이면에는 우군 확보를 위한 경영진의 분주한 행보도 이어졌다. 김용관 삼성전자 DS부문 경영전략담당 사장 등 주요 경영진은 엑셀리스(Axcelis), TEL 등 협력사 부스를 직접 찾아 생태계 다지기에 힘을 실었다. 올해 역대 최대 규모로 개최된 세미콘 코리아 2026은 13일까지 진행된다. 전 세계 550여개 반도체 기업이 참여했고 사전 등록자는 7만 5000명에 달했다.