2년 전 한 AI(인공지능) 포럼에서 이승우 유진투자증권 리서치센터장은 위르겐 슈미트후버(Jürgen Schmidhuber) 교수와 대담을 나눌 기회가 있었다. 그는 1997년 LSTM(장단기메모리·Long Short-Term Memory)을 제안한 유럽을 대표하는 AI 석학이다. 당시 그가 들려준 AI의 미래에 관한 이야기를 질의응답식으로 풀어서 AI 미래에 대해 알아봤다. - LSTM이 해결하려 했던 문제와 지금 AI가 다시 마주한 문제는 무엇인가? 예전 AI인 ‘RNN’은 문장을 읽을 때 앞에서 배운 내용을 오래 기억하지 못하는 문제가 있었다. 그래서 ‘LSTM’(장단기메모리·Long Short-Term Memory)이라는 기술이 등장해 중요한 정보를 오래 기억할 수 있도록 만들었다. 그런데 지금 AI는 훨씬 더 많은 정보를 다뤄야 한다. AI가 긴 문장, 과거 대화 내용, 검색한 자료 등을 한꺼번에 기억해야 하기 때문에, 이번에는 AI가 필요한 정보를 실제 메모리에 많이 저장하고 빠르게 꺼내 쓰는 새로운 문제가 생긴 것이다. - 왜 고대역폭메모리(HBM)만으로는 AI의 메모리 문제를 해결하기 어려운가? HBM은 그래픽처리장치(GPU) 가까이에서 데이터를 매우 빠르게 공급하지만 가격이 비싸고 용량이 제한적이다. AI 추론과 에이전트(비서)가 발전해 필요한 메모리가 테라바이트(TB) 단위로 커지면 모든 데이터를 HBM에 담는 것은 경제성과 확장성에서 한계가 있다. - 샌디스크의 HBF는 HBM과 무엇이 다른가? HBM이 D램을 쌓아 만든 ‘빠른 기억’이라면, HBF는 낸드(NAND)를 수직 적층해 더 큰 용량을 상대적으로 저렴하게 제공하는 새로운 메모리 계층이다. 샌디스크는 1세대 HBF에서 512기가바이트(GB) 용량과 1.6TB/s 읽기 대역폭을 목표로 하고 있다. - HBF가 기존 SSD와 다른 핵심은 무엇인가? 기존 SSD는 낸드를 여러 개의 작은 칩(패키지)으로 만들어 기판(PCB) 위에 배치하고, ‘PCIe’라는 연결 통로를 통해 GPU나 CPU와 데이터를 주고받는다. 그래서 데이터를 SSD에서 GPU로 가져오려면 ‘SSD → PCIe → GPU’라는 이동 과정이 필요하다. 반면 HBF는 낸드를 단순한 저장장치처럼 멀리 두지 않고, GPU 같은 연산장치 가까이에 붙여 놓는 것이 핵심이다. 여러 개의 낸드 베어다이(포장하기 전의 얇은 반도체 칩)를 위로 차곡차곡 쌓고, TSV와 마이크로범프라는 기술로 층층이 연결해 한꺼번에 많은 데이터를 주고받을 수 있도록 만든다. 비유하면 기존 SSD가 창고에 물건을 보관해 두고 필요할 때 트럭으로 가져오는 방식이라면, HBF는 공장 바로 옆에 훨씬 큰 창고를 만들어 필요한 물건을 빠르게 공급하는 방식이다. 그래서 HBF가 상용화되면 낸드의 역할도 달라질 수 있다. 지금까지 낸드는 주로 ‘많은 데이터를 오래 저장하는 저장장치’였다면, HBF에서는 낸드가 ‘AI가 필요로 하는 엄청난 양의 데이터를 연산장치 가까이에서 빠르게 공급하는 메모리’로 활용되는 것이다. 결국 핵심은 SSD의 낸드를 더 빠른 메모리처럼 연산장치 가까이 끌어올리는 것이다. HBM이 비싸지만 매우 빠른 고속도로라면, HBF는 속도는 HBM보다 느리지만 훨씬 많은 데이터를 담을 수 있는 대용량 도로를 GPU 가까이에 만드는 것이라고 이해하면 쉽다. 기사 전문은 매일경제신문의 프리미엄 재테크 콘텐츠 플랫폼 매경플러스에서 확인할 수 있습니다. 네이버에서 ‘매경플러스’를 검색하거나, 스마트폰으로 아래 QR코드를 찍으면 연결됩니다.