财联社
财经通讯社
打开APP
18:45:32【腾讯混元AI Infra核心技术开源:推理吞吐提升30%】
财联社2月4日电,腾讯混元AI Infra团队正式推出开源生产级高性能LLM推理核心算子库 HPC-Ops。在真实场景下,基于HPC-Ops,混元模型推理 QPM 提升30%,DeepSeek模型 QPM 提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比 FlashInfer/FlashAttention 最高提升2.22倍;GroupGEMM 相比 DeepGEMM 最高提升1.88倍;FusedMoE 相比 TensorRT-LLM 最高提升1.49倍。
人工智能
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
2026-02-04 18:45:32 436455 阅读
商务合作
热门解锁
相关阅读
评论
热度
最新
发送
复制
取消
垃圾广告
政治激进内容
色情低俗内容
取消