打开APP
×
“真正的推理端刚刚开始” 训练算力成本仍占至少七成 大模型下半场何时爆发?
财联社记者 付静
2024-09-21 星期六
原创
①OpenAI o1系列大模型强调推理能力,业内称其发布将带动推理算力的需求提升。
②现阶段,AI算力需求主要增长动力仍来自训练,模型厂商算力成本中训练端占比至少7成。
③今年AI推理成本下探、效率提升,国内外算力厂商已纷纷加入推理竞赛。
人工智能
关注

财联社9月21日讯(记者 付静)“关于AI是否到达瓶颈以及进展是否会放缓的争论,其实已经持续了一段时间。AI发展不仅没有放缓,而且我们对未来几年已经胜券在握。”OpenAI创始人兼首席执行官Sam Altman在近日的访谈中表示。

持续引领业界技术发展方向的OpenAI最新发布的o1系列大模型着重强调推理能力,引发模型推理端算力的关注度攀升。财联社记者日前多方采访业内人士获悉,o1的发布将带动推理算力的需求进一步提升,随着大模型广泛落地,推理算力有望高增。推理被视作大模型“下半场”,不过现阶段来看,AI算力需求主要的增长动力仍来自于训练,模型厂商算力成本中训练端占比至少七成左右,真正的推理端或刚刚开始。

“真正的推理端刚刚开始”

“o1系列的数学推理能力、物理推理能力相比上一代的GPT-4o有非常明显的进步和提升空间。OpenAI引领着整个行业的发展趋势,国内AI大模型势必也会跟进这种推理能力提升趋势。“小北学AI”主理人张亮在接受财联社记者采访时表示。

据OpenAI官方说法,与之前的模型相比,o1系列可推理更复杂的任务。据悉,新模型采用强化学习方法,对于复杂的推理任务逐步思考和细化步骤从而产生思维链,最后提供过程+答案的回复。

国盛通信近日研报显示,o1大模型的推出是对推理侧需求的跨时代更新,在进入规模化时代后,“大力出奇迹”原则下对芯片数量、交换机数量、连接器数量等核心硬件数量的需求都有望指数级提升,新一轮的军备竞赛或将开启,在强化学习对芯片的庞大需求下“万卡”或仅是个入门选择。

IDC中国分析师杜昀龙告诉财联社记者,推理在未来几年会占有大部分市场,与训练共存。

不过根据当前大模型的发展进度,一位服务器从业者态度相对较谨慎,他告诉财联社记者,“其实从去年到现在,大部分时间是在解决训练的问题,解决有和无的问题。其实GPT的推理能力本来不是很好,随着它(指OpenAI)训练路径走通了,开始对推理进行优化。我觉得真正的推理端刚刚开始,国内推理端没有爆发起来,是因为从模型算法到应用场景整体都没有系统性地有效结合起来。”

从产业用于模型训练和推理的具体算力成本比例看,本月初腾讯云副总裁沙开波曾在接受财联社在内的媒体采访时表示,“现在总体上应该超过80%都还是以训练为主,随着后面整个应用的落地,推理的比重会逐渐去增加。”

一位市场分析人士亦告诉财联社记者,“国内训练和推理算力比例大概是4到5比1。”

据IDC此前预测数据,云端推理占算力的比重将逐步提升,预计到2026年推理占62.2%,训练占37.8%。

不过杜昀龙告诉财联社记者,“这是之前的预测数据,最终以官方最新发布为主。”根据其实际了解到的产业当下状况:“从金额看,训练在70%以上,而推理不到30%。”

而今年上半年英伟达在其财报电话会议上曾披露,大模型推理场景已经占了数据中心业务40%的营收比例。

对此前述市场分析人士坦言,“可能海外走得比较快,国内实际应用起来的不是很明显,推理算力需求提升其实也没有很明显。”

推理成本下探 赛道持续升温

财联社记者在采访中亦获悉,今年AI推理成本逐步下探,推理效率也得到了提升。

“从目前推理的硬件来看,其成本是相对比较低廉的,而且效率并不低,功耗也不大。但是从大模型的应用来说,推理面临的挑战是成本高。”杜昀龙告诉记者。

“推理成本在持续下降。今年相比于去年,在推理阶段产生单位智能的成本基本上降了一个数量级,明年估计还会再有一个数量级的下降。”月之暗面创始人杨植麟在近日的一次分享中公开称。

不过张亮也告诉财联社记者,“国内AI大模型厂商为了跑马圈地,为了圈定AI开发者完成生态搭建,所以把价格打下来了。如果不去调用各个大模型平台的API,而是自己训练,其实还会面临GPU硬件成本高昂的问题。”

在推理侧,“一些业务场景的复杂和落地链路的延长,数据样本量不足或缺乏标准化输出等,都是客观存在的问题。”张亮同时向记者表示。

财联社记者注意到,大模型应用虽尚待落地,各算力硬件厂商已然瞄准了推理这一赛道。

华为昇腾计算整机业务人士在近日的华为全联接大会上称:“AI应用的爆发式增长,可能带动AI推理算力需求激增至训练算力的百倍。未来,推理将成为AI产业的主战场。”基于推理需求趋势,神州数码(000034.SZ)子公司神州鲲泰亦最新宣布,将基于与华为昇腾的合作打造昇腾能力中心。

“国产算力现在其实主要在做推理,在训练方面可能还在尝试。”前述市场分析人士称。近期,独角兽燧原科技、壁仞科技先后启动IPO,据媒体报道,腾讯此前推出的推理芯片“紫霄”正是由燧原科技合作开发。

与此同时,海外玩家中,AMD、美国独角兽Cerebras Systems、韩国FuriosaAI纷纷加入AI推理竞赛。而为降低对英伟达等外部芯片供应商的依赖,Meta也下场自研推理芯片,其MTIA v2上半年已正式发布。“像微软、OpenAI等都有亲自去做AI算力芯片的想法,在供给侧一定是有一个逐步提升增强的过程。”张亮称。

特别声明:文章内容仅供参考,不构成投资建议。投资者据此操作风险自担。
相关企业家
联系Ta
联系企业家
为保护双方个人信息请联系您的专属助理进行接洽
我再想想
点击复制
复制成功,请去微信添加