财联社
财经通讯社
打开APP
09:12:16【月之暗面开源Moonlight:30亿/160亿参数混合专家模型】
《科创板日报》24日讯,月之暗面Kimi发布了“Muon可扩展用于LLM训练”的新技术报告,并宣布推出“Moonlight”:一个在Muon上训练的30亿/160亿参数混合专家模型(MoE)。使用了5.7万亿个token,在更低的浮点运算次数(FLOPs)下实现了更好的性能,从而提升了帕累托效率边界。
人工智能
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
2025-02-24 09:12:16 2116681 阅读
商务合作
专栏
相关阅读
评论
热度
最新
发送