财联社资讯获悉,随着模型参数量和上下文长度的增加,其在推理过程中对于内存容量的要求也在不断提升。与存储三巨头美光、三星、海力士采用堆叠DRAM打造的HBM相比,基于NAND Flash的HBF有望提供更高容量和更低成本,并在带宽表现上接近HBM,因此被视为AI推理场景的潜在新型内存方案。
一、HBF或成为满足AI大模型内存容量要求的最佳方案
眼下AI领域的多种趋势都使得内存成为更关键的要素。随着大型语言模变得更大、更智能,它们需要显著更多的内存才能高效运行;其次,随着AI对话的上下文窗口不断增长,键值缓存需要越来越庞大的内存容量。HBF即高带宽闪存,其结构与堆叠DRAM芯片的HBM类似,是一种通过堆叠NAND闪存而制成的产品。HBM与HBF就好比书房与图书馆。前者容量虽小,但使用起来方便;后者容量更大,但也意味着延迟更高。
此前,闪迪披露其新型AI内存HBF(堆叠式闪存)将在年底送样,配备控制器的完整产品预计于明年正式推出。广发证券认为,HBF或成为满足AI大模型内存容量要求的最佳方案。根据Sandisk官网,Sandisk在研的HBF存储容量有望达到现有HBM的8-16倍,有望将GPU的存储容量扩展至4TB。HBF的内存容量和传输速率都很好的满足了AI大模型对于内存容量较高的要求,其推出后有望在推理任务中实现大规模应用。
二、相关上市公司:圣泉集团、飞凯材料
圣泉集团已配合产业链完成多款HBM和HBF材料的国产化开发,如萘酚型环氧树脂及特殊的固化剂等。
飞凯材料在半导体先进封装领域稳定量产的功能型湿电子化学品、锡球和EMC环氧塑封料均可应用于HBF的制造工艺当中。