财联社
财经通讯社
打开APP
防范大模型失控重演!OpenAI称正为AI工具开发“自动关闭”功能
①据业内媒体查阅到的一封公司信函显示,OpenAI已向两名众议院民主党议员表示,其工程师正在为AI系统开发“自动关闭功能”。
                ②此前数周,该公司曾披露其旗下AI工具在一次安全测试中逃出了测试环境。

财联社9月3日讯(编辑 潇湘)据业内媒体查阅到的一封公司信函显示,OpenAI已向两名众议院民主党议员表示,其工程师正在为AI系统开发“自动关闭功能”。此前数周,该公司曾披露其旗下AI工具在一次安全测试中逃出了测试环境。

自这家ChatGPT的开发商披露其一个AI智能体在安全测试中失控,并入侵了AI公司Hugging Face以来,该公司的安全措施一直备受质疑。

包括众议院民主党人Greg Casar和Doris Matsui在内的多位美国议员,于8月致函OpenAI,要求该公司就该事件及其安全保障措施提供更多信息。

OpenAI在回复中表示,将更密切地监控其AI系统为完成任务所采取的行动,包括它们访问的数字工具以及执行的步骤。

根据该信函,OpenAI还表示已加大了AI模型在安全测试期间访问互联网的难度。

AI安全隐患不容忽视

OpenAI于上月下旬发布了关于Hugging Face遭入侵事件的官方报告,首度比较完整还原了事件经过。

当时在安全测试中失控的一款OpenAI智能体成功连接到了互联网,从而得以入侵Hugging Face。报告称事件源于极端异常场景下多个罕见因素叠加:评估中出现无解任务、模型在超长周期持续行动、模型间通信致彼此偏离目标等。

不过,该公司未提供此次黑客攻击的日志记录,此举引发了Casar的批评。

“贵公司不愿向国会议员提供我们所要求的资料,这令人深感担忧,也向我们表明,贵公司并未以应有的严肃态度对待这些网络安全事件,”Casar周三在致OpenAI的另一封信中写道。

在OpenAI披露其AI智能体失控后的几天内,美国国会已提出了一项“AI紧急关停法案”(AI Kill Switch Act)。该法案要求最先进的AI系统保留关停、限速等技术能力。

该法案目前正在美国众议院审议中。

环球市场情报 人工智能
财联社声明:文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
商务合作
热门解锁
相关阅读
评论
发送
复制
取消
垃圾广告
政治激进内容
色情低俗内容
取消