챗GPT의 등장으로 인공지능(AI)은 디지털 시대에 거스를 수 없는 대세가 됐다. AI는 스스로 판단해 작업을 최적화, 효율화하고 많은 분야에서 에너지를 절감할 것으로 예상된다. 하지만 AI 스스로는 개발, 구축, 운영에 천문학적인 비용이 들어가며, 전력 소모가 극심하다. 모든 업계가 환경·사회·지배구조(ESG) 경영을 부르짖는 시대를 이끄는 AI가, 정작 엄청난 에너지를 소비하는 역설적인 상황이다. ●SKT ‘에이닷’ GPU 1040개 사용 초거대 AI는 복잡한 연산을 동시다발로 하기에 고성능 처리장치를 필요로 한다. 그런데 고성능 처리장치는 전기를 많이 쓴다. 초거대 AI 운용엔 대체로 중앙처리장치(CPU)가 아닌 그래픽처리장치(GPU)가 쓰인다. AI반도체 시장점유율 90% 이상을 차지하는 엔비디아의 최신 GPU ‘A100’의 소비전력은 모델에 따라 300~400W(와트)이며 시간당 전력 소비량은 300~400Wh(와트시)이다. 초거대 AI 운용엔 GPU가 수백~수천개 사용된다. SK텔레콤의 초거대 AI 서비스 ‘에이닷’의 기반인 슈퍼컴퓨터 ‘타이탄’엔 A100이 1040개 들어간다. 챗GPT 구동엔 A100 1만개가 사용되는 것으로 알려졌다. 초거대 AI 운용에 필수인 인터넷데이터센터(IDC)도 대표적인 고전력 시설이다. 산업통상자원부의 지난달 자료에 따르면 IDC 한 개당 평균 연간 전력 사용량은 25GWh(기가와트시)로, 4인가구 기준 6000가구가 사용하는 전력량과 같은 수준이다. 애초에 AI 연산용이 아니라 그래픽 처리 속도를 높이기 위해 만들어진 GPU는 데이터를 한 번에 대량으로 처리할 수 있지만, 값이 비싸고 전력도 많이 소비한다. 이에 신경망처리장치(NPU)라는 AI 전용 반도체 개발이 GPU의 문제를 해결할 대안으로 주목받았다. SK텔레콤이 지분 50%를 보유한 사피온이 2020년 발표한 NPU ‘X220’은 지난해 AI 구동 성능 테스트에서 엔비디아의 ‘A2’를 뛰어넘은 바 있다. 그러면서도 65W에 불과한 소비전력은 고성능 CPU들과 비교해도 적은 축에 들어간다. 사피온은 올해 전작 대비 성능을 약 4배 향상시킨 신제품 ‘X330’을 출시할 예정이다. KT와 ‘AI 드림팀’을 이룬 반도체 회사 리벨리온도 ‘아톰’이라는 NPU를 개발했다. 아톰 역시 소비전력이 60~150W에 불과하며 챗GPT의 원천 기술인 ‘트랜스포머’ 계열 자연어 처리 기술을 지원한다. 개발 환경 등 현재 AI 생태계 자체가 GPU 체제에서 세워진 만큼 NPU 시장이 짧은 시일 내에 활성화되긴 어려울 것으로 보인다. 이에 GPU와 함께 칩셋을 이루며 방대한 데이터를 빠르게 처리하는 고성능 D램인 고대역폭메모리(HBM)가 AI 반도체의 효율을 극대화할 수 있는 방책으로 떠올랐다. ●침체된 반도체 시장 훈풍 기대감 SK하이닉스의 3세대 ‘HBM3’ 제품은 A100에 탑재되고 있으며, 엔비디아의 차기 GPU 신제품에 4세대 ‘HBM4’가 적용될 전망이다. 삼성전자는 HBM에 AI 프로세서를 결합한 지능형메모리(HBM-PIM) 제품을 AMD의 최신 GPU 제품에 공급하고 있다. 삼성전자에 따르면 HBM-PIM을 활용하면 기존 GPU 가속기 대비 평균 성능이 2배 증가하고 에너지 소모는 50% 감소한다. 업계에선 이런 고성능 D램이 얼어붙은 메모리반도체 시장의 ‘구원투수’ 역할을 할 수 있다고 보고 있다.

현재 그래픽 카드 메모리의 주류는 GDDR (Graphics DDR) SDRAM 메모리입니다. 초창기 그래픽 카드는 PC용 시스템 메모리와 동일한 메모리를 사용했지만, 그래픽 처리 프로세서인 GPU의 급격한 성능 발달로 이미 2000년대 초반 속도 한계에 직면했습니다. CPU용으로 개발된 시스템 메모리로는 GPU가 처리하는 방대한 데이터를 감당하기 어려워진 것입니다. 기본적으로 GPU는 큰 크기의 고해상도 그래픽 데이터를 빠르게 (가능한 초당 60 프레임 이상으로) 처리해야 합니다. 그래야 화려한 게임 그래픽을 끊김 없이 처리할 수 있습니다. 이런 이유로 2003년부터 일반 DDR 메모리보다 더 큰 대역폭을 지닌 GDDR 메모리가 그래픽 카드에 도입되기 시작합니다. GDDR2 메모리는 2003년 출시한 엔비디아의 지포스 FX 5700/5800 울트라 시리즈에 처음 사용됩니다. (1세대 GDDR 메모리는 90년대 후반 등장했는데 당시 그래픽 카드에는 사용되지 않았습니다) 하지만 GDDR 메모리의 본격적인 보급은 2004년 등장한 GDDR3부터입니다. GDDR3는 나중에 AMD에 합병된 ATI와 엘피다, 하이닉스, 인피니온 등 메모리 제조사들이 협력해 만든 그래픽 메모리 규격입니다. 이름과는 달리 DDR2 기반으로 덕분에 DDR3 메모리 규격이 확립되기 전인 2004년부터 본격적으로 보급될 수 있었습니다. GDDR 메모리는 DDR 메모리보다 데이터가 지날 수 있는 통로가 더 많고 데이터 전송 속도가 빨라 3D 그래픽처럼 대용량 데이터를 빠르게 처리할 때 유리합니다. 사실 GPU가 빠른 속도로 발전할 수 있었던 것은 이를 뒷받침할 GDDR 메모리의 발전이 있었기 때문입니다. 따라서 DDR 메모리보다 버전 업데이트가 훨씬 빨리 이뤄져 DDR4 메모리가 도입되는 동안 GDDR5, GDDR5x, GDDDR6 같은 새로운 규격이 등장했습니다. GDDR6 메모리를 사용한 지포스 RTX 2080의 경우 14Gbps GDDR5 (256bit) 메모리에서 448GB/s의 넓은 대역폭을 지원받고 있습니다. 이는 DVD 영화 100편 정도를 1초에 전송하는 속도입니다. 하지만 GDDR 메모리 규격 역시 점점 한계에 도달하고 있습니다. GDDR3에서 메모리 칩 하나 당 19.9 GB/s의 속도를 확보했고, GDDR5에서 40–64 GB/s, GDDR6에서 112–128 GB/s으로 늘어나기는 했지만, GPU의 연산 능력이 급격히 향상되면서 한계에 봉착한 것입니다. 이는 GPU가 게임에서만 쓰이는 것이 아니라 인공지능이나 슈퍼컴퓨터 같은 더 중요한 분야에 사용되면서 연산 능력이 급격히 높아진 것도 원인입니다. HBM (High Bandwidth Memory) 메모리는 이 문제에 대한 가장 합리적인 해결책입니다. HBM 메모리는 삼성전자, SK 하이닉스, AMD의 협력으로 개발되었으며 2013년 SK 하이닉스에서 첫 제품을 내놓았습니다. HBM은 여러 개의 D램 다이(die)를 아파트처럼 수직으로 쌓고 여기에 데이터 통로인 TSV (through-silicon via)를 뚫어 고속으로 데이터를 주고받는 메모리라고 할 수 있습니다. 아예 통로를 여러 개 뚫어 대량으로 데이터를 전송하기 때문에 대역폭에서 GDDR6 메모리를 크게 앞설 수 있습니다. 따라서 슈퍼컴퓨터나 인공지능 연산용 고성능 GPU에 사용됩니다. 하지만 비싼 가격으로 인해 일반 그래픽 카드에는 제한적으로 보급되고 있습니다.올해 출시된 AMD의 라데온 VII 그래픽 카드는 HBM2 메모리를 사용하는데, 4개만 있어도 1TB/s의 대역폭과 16GB의 메모리 용량을 확보할 수 있습니다. 하지만 이미 국내 메모리 제조사들은 이를 뛰어넘는 제품을 개발했습니다. 올해 3월 삼성전자가 공개한 플래시볼트 (Flashbolt) HBM2E 메모리는 칩 하나 당 410GB/s의 대역폭과 16GB의 용량을 제공합니다. 8개의 다이를 수직으로 올린 후 5000개 이상의 TSV로 연결해 속도와 용량을 획기적으로 끌어 올렸습니다. 그리고 이번 달 SK 하이닉스는 이보다 더 빠른 460GB/s 속도의 HBM2E 메모리를 개발했다고 발표했습니다. 이 제품을 4개 사용한 GPU는 1.84TB/s의 대역폭과 64GB의 용량을 확보할 수 있습니다. 이렇게 빠르고 용량이 큰 메모리가 필요한지 의문을 지닐 수도 있지만, 단순히 게임용이 아니라 인공지능 및 슈퍼컴퓨터를 위해서는 이것도 부족할 수 있습니다. 현재 국내 제조사들은 HBM2E보다 더 빠른 HBM3 및 HBM4 메모리 개발을 위한 연구를 진행하고 있습니다. 이 메모리는 현재 미국이 개발하는 엑사스케일 슈퍼컴퓨터에 사용될 것입니다. 국내 기업이 주도하는 HBM 메모리는 인공지능 및 슈퍼컴퓨터 개발에 없어서는 안 될 핵심 부품이라고 할 수 있습니다. 다른 한편으로 일반 소비자용 그래픽 카드에서 HBM 메모리를 사용할 수 있게 하려는 시도도 진행 중입니다. GDDR 규격도 좀 더 빨라질 수 있지만, 대역폭 문제의 근본적인 해결책은 메모리 구조 자체를 혁신한 HBM 메모리의 염가형 버전을 보급하는 것입니다. HBM 메모리를 사용한 그래픽 카드 중 그나마 저렴한 라데온 VII이 699달러로 아직 꽤 비싼 편이기 때문에 500달러 이하 그래픽 카드에서 사용할 수 있는 HBM 메모리가 필요할 것입니다. 결국 이 문제 역시 국내 제조사들의 노력에 달려 있습니다. GDDR 메모리가 결국 DDR 메모리를 대체하고 그래픽 카드 메모리의 대세가 된 것처럼 언젠가는 HBM 메모리가 새로운 대세가 될 날이 올 것으로 기대합니다. 고든 정 칼럼니스트 jjy0501@naver.com