财联社
财经通讯社
打开APP
00:06:24【英伟达提出AI内存全栈协同设计方案 Vera Rubin平台每GPU内存容量仅增约3% 推理吞吐量提升最高30倍】
财联社11月6日电,英伟达11月5日发布文章称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。

具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。

英伟达披露,在SemiAnalysis AgentX测试中,GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;Vera Rubin NVL72相较GB300 NVL72,单位成本推理吞吐量最高提升30倍,而单GPU HBM容量仅增加约3%。
环球市场情报 美股动态 人工智能
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
2026-11-06 00:06:24 54892 阅读
商务合作
热门解锁
相关阅读
评论
热度
最新
发送
复制
取消
垃圾广告
政治激进内容
色情低俗内容
取消