财联社
财经通讯社
打开APP
破局大模型算力荒,北京建设数字经济算力中心
①中国工程院院士郑纬民此前曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
                ②今年以来,已有多个大模型厂商完成架构升级,并发布了基于MoE架构的大模型,从测试数据来看,新架构下的大模型性能有了明显提升。

财联社6月6日讯(记者郭松峤) 算力是AI发展的基础设施。财联社记者了解到,以“AI工厂”理念打造的北京数字经济算力中心基础设施建设近日正式启动施工,预计将于今年完成基础设施建设。

目前,项目已在酒仙桥地区部署完成了400PFlops国内外算力设备上架和调试等工作。预计2024年年底完成北京数字经济算力中心基础设施建设。整体投产后,将逐步累计实现2000PFlops智能算力供给,为人工智能产业提供普惠算力服务,支持朝阳区乃至北京市数字经济产业发展。

中国通信工业协会数字经济平台分会副会长高泽龙对财联社记者表示,通过建设算力中心,可以提供强大的计算资源,这对于数字经济的发展至关重要,因为算力是支撑大数据、云计算、人工智能等数字技术的核心。此外,普惠算力服务可以降低企业尤其是中小型企业的技术门槛和成本,使他们能够更容易地接入和使用先进的数字技术,从而推动产业升级和转型。

中国工程院院士郑纬民此前曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。

郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为我国国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。

算力的发展,离不开政府对人工智能产业的高度重视。2023年10月,工业和信息化部等六部门联合印发《算力基础设施高质量发展行动计划》,提出到2025年我国算力规模超过300EFLOPS,智能算力占比达到35%。

具体到城市来看,财联社记者了解到,今年北京计划新增公共智能算力8000P,目前北京人工智能公共算力平台京能上庄节点2000P高性能算力已就位,率先达到3500P算力供给,年内将结合产业发展需求进一步扩容,规划打造万P算力,形成大规模算力集群。

当前业界大模型在性能不断提升的同时,也面临着消耗算力大幅攀升的问题,对企业落地应用大模型带来了极大的困难和挑战。而大幅提升的模算效率将为企业开发应用生成式AI提供模型高性能、算力低门槛的高效路径。

今年以来,已有多个大模型厂商完成架构升级,并发布了基于MoE架构的大模型,从测试数据来看,新架构下的大模型性能有了明显提升。

从企业端来看,浪潮信息日前发布了“源2.0-M32”开源大模型,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。

浪潮信息人工智能首席科学家吴韶华对财联社记者表示,当前业界大模型在性能不断提升的同时,也面临着所消耗算力大幅攀升的问题,对企业落地应用大模型带来了极大的困难和挑战。我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。

吴韶华进一步对记者表示,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。

大金融 数字经济
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
商务合作
专栏
相关阅读
评论
发送