财联社
财经通讯社
打开APP
20:48:53【元脑服务器推出支持Mooncake KV缓存共享的G3.5层全闪方案】
财联社9月14日电,元脑服务器面向大模型推理场景,推出支持Mooncake KV缓存共享的G3.5层全闪方案。方案以元脑全闪服务器NF5286为核心,与Mooncake缓存组件、推理框架的缓存感知调度协同,为推理集群提供独立于计算节点、可按业务需求单独规划的KV Cache共享空间。当上下文需求增长时,可以单独扩展缓存资源;当GPU节点扩容、调整或维护时,缓存资源也不必完全随计算节点变化。
能源行业新闻 服务器
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
2026-09-14 20:48:53 628689 阅读
商务合作
热门解锁
相关阅读
评论
热度
最新
发送
复制
取消
垃圾广告
政治激进内容
色情低俗内容
取消