①多模态大模型已经能够记住和回忆空间,甚至内部已经形成了局部世界模型,表现出了空间意识; ②使用认知地图辅助空间推理,可提升模型在空间任务上的准确率; ③李飞飞表示,在2025年,空间智能的界限很可能会再次突破。
《科创板日报》12月18日讯(记者 黄心怡)在火山引擎Force大会上,火山引擎总裁谭待宣布,截至12月中旬,豆包通用模型的日均tokens使用量已超过4万亿,较七个月前首次发布时增长了33倍。
此前的全球月活跃用户排行榜显示,豆包App的MAU已接近6000万,仅次于OpenAI的ChatGPT,位列全球第二。
会上,字节跳动正式发布了豆包视觉理解模型、豆包3D生成模型,以及全面升级的豆包通用模型pro、音乐模型和文生图模型等。其中,豆包视觉理解模型千tokens输入价格仅为3厘,一元钱就可处理284张720P的图片。大会还宣布,字节跳动将在2025年春季推出具备更长视频生成能力的豆包视频生成模型1.5版,豆包端到端实时语音模型也将很快上线。
《科创板日报》记者独家了解到,火山引擎边缘云联合润欣科技打造AI语音玩具,其Wi-Fi模组采用恒玄科技,涂鸦智能也有参与提供相关模组和对接平台。
从现场体验来看,消费者可以与AI玩具“小狗”进行的语音互动交流,让其回答问题、提供陪伴等。
有产业链人士对于AI语音玩具的后续销量表示了看好。他告诉《科创板日报》记者,预计今年年底明年年初就将有第一批的AI玩具上市,预计明年上半年行业会有大量玩家加入竞争。但AI玩具的落地也存在一定的挑战。“首先AI玩具需要基于不同年龄段的优质知识库,才能实现更好地进行人机互动。此外,AI玩具的日常互动频率较高,对于用户来说,云端推理费用会是较大的支出,也是影响其落地的难点。”
在会上,火山引擎视频云与乐鑫科技、ToyCity联合发起AI+硬件智跃计划,结合豆包大模型,火山引擎的拟人语音对话技术、ToyCity潮玩设计,以及乐鑫科技的AI芯片等产品力优势,推动AI潮玩的普及化。据悉,乐鑫科技将为AI潮玩提供一站式硬件解决方案,包括端侧音视频处理等。
在机器人方面,地平线旗下地瓜机器人与火山引擎边缘云正在基于大模型网关进行智能机器人的开发,打造了基于边缘大模型网关的机器人智能感知与控制系统方案。
面向机器人调用场景,大模型网关能够利用边缘的优势,基于端侧请求发起位置就近调用大模型服务,并通过边缘大模型网关的产品能力提升响应速度,保障调用稳定性,从而为机器人设备实现大模型的就近接入与查询加速,以更低价格、更快速度按需调用。
此外,乐聚机器人也与豆包大模型开展合作。目前乐聚机器人主要应用于科研、展厅导览等,也在探索工业领域的应用。
在端侧AI方面,豆包大模型已经接入到多家手机、PC等智能终端,覆盖终端设备约3亿台,来自智能终端的豆包大模型调用量在半年时间内增长100倍。
火山引擎与英特尔合作探索PC端大模型应用
据悉,荣耀手机的魔法修图、AI摘要功能由豆包大模型提供服务,vivo手机采用了豆包音乐模型,为相册用户的一键成片提供了音乐创作能力。豆包音乐模型会根据用户提供的素材进行AI词曲的创作,为用户生成个性化影片。
谭待向《科创板日报》介绍,国内安卓手机大部分都在和豆包合作。“对手机厂商来说,会在某些场景用豆包,某些场景用其他的大模型,或者某一个场景混合使用。对企业用户来说,肯定也需要一个多云或者多模型的策略,这个我觉得很正常。最终还是能力更好、成本更低,就会用谁,这笔账就很好算。”
《科创板日报》记者在现场发现,基于字节跳动的AI智能体开发平台扣子,已有大量应用场景正在探索。
比如,与苏泊尔合作探索AI个性化食谱生成,提升炒菜机的服务水平。
与机智云合作的AI养鱼,由智能体根据鱼缸设备的实时数据,自动为用户提供优化方案。例如,在水质不达标时,智能体可以自动调整水泵的运行模式,以改善鱼类或植物的生长环境。
与猫王音响合作的AI智能音响
AI智能体笔筒
据悉,扣子的智能体开发社区里,已有超过100万的活跃的开发者,创造出了超过200万多个智能体应用。
在车企方面,东风汽车、智己汽车、奔驰旗下SMART汽车等与豆包大模型开展智能座舱等方面的合作。谭待表示,国内八成以上的主流汽车品牌都在与豆包大模型合作。
字节跳动预计在2025年春季推出具备更长视频生成能力的豆包视频生成模型1.5版,谈及可能存在的算力方面的挑战,谭待表示,“火山方舟提供豆包大模型的MaaS推理服务,从我们自己的储备上我觉得还是很充足的。正是因为这个原因,我们现在可以提供业界最大的TPM和RPM。当用户出现了卡顿或者阻碍,这个不一定是算力不够的原因。毕竟你用的是一个应用,是一套系统,前端、接入端,哪怕用户验证出了问题,也会影响到整个系统的流畅性,包括有没有工程化的优化。这其实不只是简单的算力问题。”
对于未来大模型领域的市场竞争,谭待表示,目前还处于市场早期。“说实话从我的角度现在不太关心竞争,因为这个市场还在很早期,可能这个市场千分之一刚刚开发出来。这个时候其实不用关心竞争的问题,关心的是到底用户的需求有哪些没有被满足。”