财联社
财经通讯社
打开APP
英伟达新一代算力平台补齐拼图 结合DeepSeek模型Token成本可降35倍
Play
语音播报
00:00
/
00:00
00:00
语音播报由AI生成
①Vera Rubin平台是专为智能体AI与科学计算时代设计的机架级超级计算平台;
                ②采用DeepSeek V4 Pro模型,Vera Rubin每兆瓦吞吐量最高达到上一代GB300 NVL72的30倍,每Token成本最高降低35倍。

《科创板日报》8月25日讯(编辑 宋子乔) 英伟达硬件演进正加速驶向下一站,为智能体(Agent)打造新一代算力平台。

当地时间8月24日,英伟达宣布,推理加速器Groq 3 LPX机架已进入全面量产阶段。英伟达高级总监Dion Harris表示,Groq机架将与Vera中央处理器和Rubin图形处理器一同部署在新型云服务商Nebius的数据中心,并将于今年晚些时候上线。

Groq 3 LPX机架是英伟达专为Vera Rubin平台设计的推理加速扩展组件,需与 Vera Rubin NVL72 GPU主机架搭配部署——NVL72负责更广泛的训练、推理以及上下文处理,LPX专门加速输出AI生成结果(Token),主打超低延迟Token生成,两者异构协同,可大幅提升万亿参数、超长上下文智能体推理的每瓦吞吐与交互响应速度。

英伟达此前将Vera Rubin平台定义为专为智能体AI与科学计算时代设计的机架级超级计算平台。英伟达此次将Groq 3 LPX正式推向全面生产,核心目的并不是用专用推理芯片取代GPU,而是为Vera Rubin补充传统GPU架构在低延迟Token生成方面的能力。

相比Blackwell,Vera Rubin在智能体工作上的效率得到了极大的提升,英伟达释出多个最新测试数据(本次测试使用的基准为SemiAnalysis AgentX,该基准针对Kimi K3、MiniMax M3、GLM5.3、Qwen3.5、DeepSeek V4 Pro等各类模型)——

英伟达称,在Artificial Analysis测试中,搭载Gemma 4 31B模型、100K Token上下文时,Groq 3 LPX实现每秒3400个输出Token,为该模型创下最高纪录;针对智能体编程等低延迟工作负载,其响应速度最高达到最近竞争平台的4倍。英伟达称,这种速度可以让智能体更快完成代码编写、测试、工具调用和结果验证等连续任务。

与此同时,英伟达公布Vera Rubin NVL72在真实智能体工作负载下的新测试结果:基于SemiAnalysis的AgentX工作负载、采用DeepSeek V4 Pro模型,Vera Rubin每兆瓦(MW)吞吐量最高达到上一代GB300 NVL72的30倍,每Token成本最高降低35倍。对于运营商而言,这意味着在固定的电力和基础设施预算下,可以支持更高的交互式代理容量,或者以更低的运营成本提供相同的容量。

英伟达强调,智能体任务不同于传统聊天对话,任务上下文会随着数百个步骤不断累积,甚至达到数十万Token。英伟达援引OpenRouter数据称,智能体AI工作负载消耗的Token数量可以达到简单聊天请求的15倍。原因在于,一个智能体可能先查询数据库,再搜索新闻和文件,调用子智能体进行分析,运行代码并反复验证,整个过程中上下文不断累积。

近期腾讯、阿里、DeepSeek等头部厂商相继推进AI智能体产品迭代与生态布局,AI应用端发展聚焦终端场景落地与生态壁垒搭建。天风国际证券最新研报称,当前Harness加速开放迭代,前沿AI竞争正向Agent执行框架与商业化兑现深化。

英伟达正紧随这一趋势调整硬件优化方向,当AI迈入智能体时代,AI基础设施的评价体系或将随之变化,基础设施服务商的硬件迭代重心将从追求训练更大模型,转向单位能耗有效Token产出、单位成本任务处理能力,以及智能体复杂任务的执行时延。

英伟达概念 算力
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
商务合作
热门解锁
相关阅读
评论
发送
复制
取消
垃圾广告
政治激进内容
色情低俗内容
取消