①本地部署如裸金属、超融合以及线上部署专属云。根据测算,私有云AI硬件+软件总市场空间近2000亿元。 ②主要利好三类厂商:英伟达算力服务器厂商资源积累较为充足、深厚客户基础的IT基础架构云公司/运营商、短中长期国产算力显著受益。
中信证券研报指出,近期xAI发布Grok-3系列模型,作为全球首个在十万卡集群上训练的大模型,Grok-3应用了合成数据、强化学习、自我纠错机制、人类反馈循环和上下文训练等方法,模型综合能力较前代模型Grok-2提升显著。
据xAI官方测评数据,在数学测试、理科测试和代码测试中,Grok-3 Reasoning性能表现超越了o3 mini(high)、Gemini-2 flash thinking和DeepSeek R1等头部模型。Grok-3系列模型的SOTA表现,意味着算力堆积仍是模型进步的关键变量之一。
中信证券判断产业在追逐AGI模型的方向上有望不断加速,进而对算力需求形成持续拉动,同时主要模型厂商在复杂推理层面的不断加码,亦有望推动下游应用的不断解锁,从而在中期构建更为健康、均衡的AI产业生态。
▍事项:
北京时间2月18日中午12点,马斯克创立的大模型初创公司xAI发布了其最新一代大模型Grok-3以及其相关变体版本Grok-3 Reasoning、Grok-3 mini和Grok-3 mini Reasoning,引发资本市场高度关注。
根据xAI官方X平台账号,Grok-3是xAI基于其部署于田纳西州孟菲斯的Colossus超级计算机训练得到的,消耗的计算资源等效于2亿小时H100支持的GPU训练时长,是上一代模型Grok-2的10倍以上。根据xAI官网,Colossus超级计算机至少包含10万张H100,由此我们预计预训练阶段消耗时长超2000小时(83.3天)。
此外在发布会上,马斯克还宣布在Grok-3成熟稳定后(马斯克预计几个月之后),xAI发布的上一代模型Grok-2将开源。根据xAI官网,在2024年Grok-2发布后,xAI也以Apache2.0开源协议了总参数规模达3140亿的MoE大模型Grok-1。
▍模型效果与实现机理:算力堆积、强化学习等显著提升模型综合、推理能力。
作为全球首个在十万卡集群上训练得到的大模型,Grok-3测评结果亮眼,在多项测试中均处于行业领先地位。
根据xAI发布会,在数学测试AIME、博士水平理科测试GPQA和代码编写测试Coding(LCB Oct-Feb)中Grok-3得分分别为52/75/57,性能表现超越了Gemini-2 Pro、DeepSeek V3、Claude 3.5 Sonnet和GPT-4o等主流模型;Grok-3 Reasoning得分分别为93/85/79,性能表现超越了o3 mini(high)、Gemini-2 flash thinking和DeepSeek R1等头部推理模型。而在Chatbot Arena这一评估AI模型受人类欢迎程度的测试中,Grok-3的早期版本得分达到了1402,高于Gemini 2.0 flash think、GPT-4o、DeepSeek R1和o1等头部大模型。
根据xAI官方X平台账号,我们认为Grok-3的性能优秀的成因有以下2点:1)庞大的算力投入带来了模型能力的涌现,根据xAI发布会,Colossus超级计算机在完成第二阶段建设后集群规模扩展至20万张H100;2)合成数据、强化学习、自我纠错机制、人类反馈循环和上下文训练等训练手段的应用。
▍市场定位:面向付费用户,能力提升有望解锁更多潜在场景,成本有待优化。
根据xAI发布会,目前Grok-3将率先于推特的Premium Plus用户中推广,该订阅计划目前每月订阅费用为40美元。同时,xAI还发布了由Grok模型支持的Agent产品DeepSearch。该Agent产品能通过扫描互联网和推特来获得并分析信息,最终总结回复。根据xAI发布会,DeepSearch和无限的图像生成功能将包含在SuperGrok这项独立收费计划中,预计订阅费用为每月30美元(年度订阅为300美元)。此外,Grok-3的企业级API预计将在几周后上线。在xAI发布会中,官方还展示了如何用Grok自动化游戏开发。我们认为模型能力的不断提升下,AI应用场景有望进一步解锁;而对比Grok-3与的ChatGPT的定价水平(20美元/月),并考虑到目前仍处于市场教育抢占份额阶段,我们认为Grok-3的推理成本有待进一步优化。
▍趋势展望:基础模型演进节奏加快,合成数据&强化学习等值得持续关注。
根据IBM和MIT研究者的论文《A Hitchhiker's Guide to Scaling Law Estimation》(Choshen,Zhang和Andreas,2024),理论上来看现阶段预训练Scaling Law依旧有效。而根据各公司官网,2024年Inflection、Adept和Character AI等海外明星模型初创公司均已放弃预训练,并将重心转向后训练与推理技术(如Agent技术等)。
我们认为该变化主要成因有如下2个方面:1)万卡乃至十万卡级别算力集群投入过高:根据Pytorchtoatoms官网的测算,Meta于2024年3月推出的4.9万卡算力集群建设+4年运营成本达到了12.87亿美元;2)高质量数据匮乏:根据2024年NIPS会议上AI科学家伊利亚演示材料,预训练在未来或将受限于互联网数据耗尽。但Grok-3的出现不仅在实践上证明了现阶段预训练Scaling Law依旧有效,也表明了合成数据和强化学习技术的重要性。由此我们预计少数头部公司仍将继续加大预训练投入,并在合成数据和强化学习上进行更多探索。
▍风险因素:
AI核心技术发展不及预期风险;科技领域政策监管持续收紧风险;私有数据相关的政策监管风险;全球宏观经济复苏不及预期风险;宏观经济波动导致欧美企业IT支出不及预期风险;AI潜在伦理、道德、用户隐私风险;企业数据泄露、信息安全风险;行业竞争持续加剧风险等。
▍投资策略:
本次Grok-3模型的发布仍然是围绕底层算法层面,尤其是大语言模型的综合、推理能力。从技术角度,Grok-3的性能表现在庞大算力、多种训练手段加持下得到显著提升,体现了头部公司在基础模型+推理能力两个方向的持续聚焦。应用层面,尽管Grok-3的成本在短期可能限制了其应用场景的开阔,但是随着工程能力的进步和底层算法能力提升带来的通用推理能力的进步,我们认为AI爆款应用有望从科研、编程等高价值场景起率先解锁,软件、互联网有望率先受益。除去应用端的投资机会,硬件端的需求也必然会随着多模态的技术进步而不断提高,我们仍然持续看好AI算力层面,尤其是得益于商业端逐步成熟而带来的更多的AI推理侧算力的机会。