①之所以坚持多模态的道路并且全线布局,阶跃星辰CEO姜大昕认为多模态是实现AGI的必经之路; ②随着大模型市场格局暂时进入稳定阶段,AI厂商渐渐找到适合各自的路线深耕,阶跃星辰也将重心放在了Agent方向,充分发挥多模态基础大模型优势,发力智能终端Agent。
《科创板日报》5月9日讯(记者 张洋洋)“我认同‘多模态卷王’这个名字,我们的多模态布局是非常完整的,有视频、图像、音乐、语音,有多条线,每条战线都是经过了几个月或者是半年的积累才出来一个新的迭代。”
今日,在一场小范围的媒体采访当中,当被问及如何平衡模型的性能与迭代频率时,阶跃星辰CEO姜大昕做出如是解答。
在AI大模型“六小虎”当中,阶跃星辰一直是以多模态特色著称。成立2年累计发布22款自研基座模型,研发保持月更速度,几乎平均每个月都会发布一款基础大模型。也因此,这家公司被业内戏称为“多模态卷王”。
多模态的一大难点是融合过程中不能损失单个模态的性能,尤其是不能降智。在姜大昕看来,阶跃采用原生多模的方式,在多模融合技术上有自己的经验和认知。
目前,阶跃星辰的模型覆盖文字、语音、图像、视频、音乐、推理等全系列,其中,16款是多模态模型,占比超7成。多模态模型矩阵覆盖图像理解、视频理解、图像生成视频生成、图像编辑、音乐生成,多模态推理全系列。
▍“多模态是实现AGI的必经之路”
之所以坚持多模态的道路并且全线布局,姜大昕认为是AGI初心使然,多模态是实现AGI的必经之路。
在接受《科创板日报》等媒体采访时,他表示,AGI 对标的是人类的智能,人的智能是多元化的,每个人除了有来自语言的符号智能,还包括视觉智能、空间智能和运动智能等等,这些智能是需要通过视觉和其他模态来进行学习的。在多模态领域任何一个方向出现短板,都会延缓实现 AGI 的进程。
除了AGI本身的标准和定义,如果从应用的角度来看,不管是做垂直领域的应用还是做C端的应用,多模态都是必不可少的。用户是需要AI能听、能看、能说,这样AI才能更好地理解用户所处的环境,并且和用户进行更为自然的交流。
“目前的大模型公司有能力去全面自研预训练模型,并构成这样一个模型矩阵的,即使是大公司也不多,更不用说是初创公司了,这是阶跃星辰的一个特色,也是我们的一个优势。”姜大昕说。
当下,阶跃星辰的多模态模型商业应用也正在快速落地。大量头部企业及大量AI应用开发者正在接入其多模态模型,调用量持续快速增长。据开发者反馈,阶跃多模态模型用户付费率最高。
以头部茶饮品牌茶百道为例,其已与阶跃星辰达成深度合作,通过后者多模态技术,探索大模型技术在茶饮行业的应用,进行智能巡检、AIGC营销,打造新型数字化门店生产运营方式,为用户带来更加安全、便捷和丰富的消费体验。目前全国数千家茶百道门店已经接入阶跃星辰Step-1V多模态理解大模型,平均每天上百万杯茶饮在大模型智能巡检的守护下送到消费者手中。
网红AI应用“胃之书”也基于阶跃星辰多模态能力,帮助用户以更快捷有趣的方式记录饮食,开发者赵纯想公开表示曾对国内大部分模型做过AB测试,最终发现阶跃星辰多模态模型用户付费率最高。
▍发力智能终端Agent
眼下,随着大模型市场格局暂时进入稳定阶段,AI厂商渐渐找到适合各自的路线深耕。阶跃星辰也将重心放在了Agent方向,充分发挥多模态基础大模型优势,发力智能终端Agent。
为什么会选择智能终端Agent作为发力方向?姜大昕告诉《科创板日报》记者,其实很多的终端是用户的感知和体验的延伸,Agent能去理解用户所处的环境和任务的上下文,更好地帮助人类去完成任务。阶跃在其中扮演的角色就是提供一个平台,能够围绕着这样平台去构建智能终端Agent生态。
在智能终端上,阶跃星辰也选取了几个重要的终端——手机、车、具身智能和IoT,目前已经与各个方向的头部企业展开了深度的合作。
面向智能汽车,阶跃星辰与吉利汽车集团、千里科技深化技术合作,进一步加强技术合作伙伴关系,共同推动“AI+车”的深度融合。
面向手机终端,阶跃星辰与OPPO等手机厂商深度共建,将Agent技术深度集成到手机中,共同打造更好的交互体验。基于阶跃星辰多模态技术,OPPO先后推出了“一键问屏”、“一键全能搜”功能,应用在Find X8、Find N5等旗舰机型中。
面向具身智能,阶跃星辰与智元机器人、原力灵机达成战略合作,共同探索AI+具身机器人应用场景;面向IoT终端,阶跃星辰通过生态开放的方式,与包括TCL在内的一系列IoT平台和设备厂商紧密协作,推动设备间的智能化升级和体验的无缝连接。
截至目前,在阶跃星辰多模态技术的支持下,数百万部手机用户获得了全新的AI服务体验。
“大模型领域发展非常快,在你追我赶、轮番发布的背后,我们其实可以感受到一个趋势,就是‘追求智能的上限’,我们认为追求智能的上限仍然是当下最重要的一件事。”姜大昕说,阶跃星辰目前的状态是坚持基础大模型的研发,追求AGI是公司的初心,这一点不会改变。
姜大昕认为,在当前的竞争格局中,阶跃星辰差异化的特点就是多模态的能力,不仅眼下很多模态在业界的性能是领先的,而且也在积极地探索前沿的方向,这里还存在着非常巨大的机会。在应用的层面,阶跃星辰也走了一条差异化的路线,携手合作伙伴在智能终端Agent这个方向上发力,最终形成一个从模型到Agent,从云侧到端侧的生态体系。