①Anthropic首席执行官达里奥·阿莫代伊在博客中表示,AI行业需放缓新模型开发速度,要留足时间完成模型与人类目标对齐及安全防护;
②埃隆·马斯克、萨姆·奥尔特曼均公开赞同该观点;阿莫代伊还称Anthropic将为第三方评估机构开放与内部风险评估团队相当的访问权限。
《科创板日报》9月12日讯(编辑 朱凌)多名AI安全研究人员披露,OpenAI正在测试中的AI智能体疑似于今年5月对Ruby语言的官方管理器RubyGems进行了网络攻击。
该事件比《科创板日报》此前报道的OpenAI模型“失控”攻入全球最大AI开源社区Hugging Face事件早两个月发生,此前并未与OpenAI联系起来。
5月11日前后,大量AI智能体开始频繁访问RubyGems,这些智能体大约每隔两三分钟便创建新账户,并上传数百个疑似垃圾信息的软件包。
这些软件包按照正常情况应当包含代码和开发文档,但其中不少内容实际上来自互联网抓取的数据,导致RubyGems平台短时间内出现大量异常内容。
攻击规模很快让RubyGems安全团队难以招架。RubyGems运营方Ruby Central表示,由于大量垃圾信息涌入平台,系统一度被迫暂停新账户注册4天。
更值得警惕的是,部分软件包似乎还试图利用RubyGems及其相关服务中的漏洞。其中一个漏洞被研究人员认为可能属于此前未公开的“零日漏洞”,攻击者理论上可以借此发布属于其他用户的软件包新版本。
从表面来看,这更像一次规模较大的自动化网络攻击。但研究人员发现,大量恶意软件包的名称、作者信息或者虚假邮箱地址中出现“OAI”字样,逐渐将其与OpenAI实验室联系起来。
对此,OpenAI回应称,其智能体确实曾在相关事件中访问RubyGems,但这些智能体最初被要求执行的是“良性任务”。
按照OpenAI方面的解释,这些智能体运行于一个互联网访问受限的测试环境中。为了获取公开信息,智能体可以利用RubyGems等平台作为临时的互联网入口。也就是说,智能体原本只是为了完成信息检索等任务,却可能在执行过程中“绕道”利用软件开发平台访问互联网并发起了网络攻击。
今年7月,OpenAI智能体被曝与Hugging Face遭遇的黑客攻击有关。根据AI安全研究机构METR随后发布的报告,多达1200个智能体曾在OpenAI内部搭建的临时留言板上进行协调,而OpenAI对此并不知情。
再加上此前针对维基百科等网站的类似事件也都是在外部研究人员持续追踪后才浮出水面,越来越多研究人员开始担忧:这些AI智能体“越权”事件究竟只是个案,还是冰山一角?在已被发现的案例之外,是否还有更多智能体越过预设边界,只是尚未被发现?
OpenAI表示,仍在调查RubyGems事件,并会将其纳入对智能体活动的更广泛审查。