财联社
财经通讯社
打开APP
12:40:58【字节豆包大模型团队提出稀疏模型架构 推理成本最高可降低83%】
《科创板日报》12日讯,据豆包大模型团队消息,字节跳动豆包大模型Foundation团队近期提出UltraMem,一种同样将计算和参数解耦的稀疏模型架构,在保证模型效果的前提下解决了推理的访存问题。据介绍,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本最高可降低83%。
人工智能
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
字节豆包大模型团队提出稀疏模型架构 推理成本最高可降低83% 直指端侧痛点 豆包向推理算力又“砍了一刀”:新模型架构最高降本83%
2025-02-12 12:40:58 3025286 阅读
商务合作
专栏
相关阅读
评论
热度
最新
发送