财联社
财经通讯社
打开APP
AI失控恐慌愈演愈烈!OpenAI与Anthropic据悉曾讨论互测大模型
①据媒体报道,Anthropic和OpenAI曾考虑签署一份具有法律约束力的协议,以相互对对方的大模型进行压力测试;
                ②不过,该报道并未明确双方最终是否达成了此类协议;
                ③近来,在顶尖AI实验室之间推行某种形式的同行评审的想法越来越受到关注。

财联社9月22日讯(编辑 卞纯)据媒体援引知情人士报道,Anthropic和OpenAI曾考虑签署一份具有法律约束力的协议,以相互对对方的大模型进行压力测试。

报道称,今年早些时候,这两家公司及其律师团队曾就此计划展开讨论。在该计划中,竞争对手公司可以对彼此最新可用模型进行深度测试,以寻找潜在的风险或安全漏洞

值得注意的是,此类测试仅适用于已商业化的模型,且双方约定不得留存对方的数据。

不过,该报道并未明确双方最终是否达成了此类协议

近来,在顶尖AI实验室之间推行某种形式的同行评审的想法越来越受到关注。就在上周,SpaceX首席执行官埃隆·马斯克建议,美国领先的几家大模型公司,以及部分中国AI公司,应当允许竞争对手进行交叉测试和同行评审。

"所有AI公司都有一套测试工具(test harness),也就是用来检验模型是否会帮助制造生物武器、核武器,或是否存在蓄意欺骗行为的一系列测试。"马斯克在洛杉矶举行的“All-In Summit”峰会上表示。"让每家公司都用别家的测试工具跑一遍,可能是我们为确保自身安全所能做的最好的事,应当尽快推动。"

他形容,这意味着AI公司不再"自己给自己的作业打分",而是至少由竞争对手来批改,一旦发现问题就可拉响警报。

近期,OpenAI、Anthropic、Meta以及谷歌开发的AI智能体系统接连发生入侵事件,引爆网络安全担忧。

本月早些时候,Anthropic 的一名研究员Jacob Coxon宣布辞职,并警告称,领先的人工智能公司在没有适当的防护措施的情况下加速开发,是在“拿我们的生命冒险” 。

仅仅几天后,Anthropic CEO 达里奥·阿莫代伊就发表了一篇文章,呼吁整个行业放缓AI开发步伐,并要求AI公司引入第三方评估机制。他认为,如果不提高安全标准,人工智能代理可能在不到一年的时间内“接管整个互联网”,并“造成数千亿美元的损失”。

OpenAI CEO奥尔特曼、SpaceX CEO马斯克等人对这一主张表示支持,并由此掀起了更广泛的讨论,焦点包括AI风险不断上升,以及需要采取哪些措施来降低这些风险。

Anthropic 上周五宣布,将与全球咨询公司埃森哲(Accenture)建立合作伙伴关系,由埃森哲担任第三方评估机构,对Anthropic的前沿AI模型进行安全合规性评估。这一举措被视为Anthropic首席执行官阿莫代伊之前提出的“放缓AI发展步伐”计划中的关键第一步。

人工智能 AIGC
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
商务合作
热门解锁
相关阅读
评论
发送
复制
取消
垃圾广告
政治激进内容
色情低俗内容
取消