美光探索近GPU NAND闪存，为大模型运行扩展存储层

据DigiTimes报道，美光正在研究高耐久性NAND闪存模块，计划将其部署在距离GPU更近的位置，以支撑更大规模的AI模型运行。

与通过多个协议连接到距离GPU较远的传统存储池不同，美光的“近GPU NAND”方案试图将NAND闪存进一步靠近GPU，在存储密度与耐久性之间提供一种折中方案。该产品当前被称为“近GPU NAND”，可用于处理非低延迟/高带宽工作负载。

这一方案允许GPU直接访问数百GB的NAND存储池，NAND芯片可直接放置在GPU封装内部或PCB上，工作方式类似HBM、GDDR7等方案。与传统TLC或QLC NAND相比，这种NAND芯片的存储密度更低，重点在于提升I/O速度与带宽。

该存储层位于显存和普通存储之间，可充当高速缓冲层，因而适合运行更大规模的AI大语言模型。该方案落地后，大语言模型推理将不再受到显存容量限制。