①纳斯达克金龙中国指数收跌1.14%,报5765.90点;
②金融市场对美联储加息的押注概率已升至94.5%;
③OpenAI正与Anthropic、谷歌合作推进AI安全工作。
财联社9月16日讯(编辑 赵昊)一名前DeepMind员工也加入了警告人工智能可能“杀死人类”的行列。他表示,人类留给自己的时间可能已经所剩无几,必须抓紧避免出现这一悲剧结局。
随着外界对AI潜在危险的担忧不断升温,公众的警觉情绪也在加剧。上周,Anthropic研究员Jacob Coxon表示,他已经辞职,部分原因在于“那些正在开发AI的人真心相信,到2030年末,AI可能会杀死我们所有人。”
随后,Anthropic科学家Evan Hubinger回应了Coxon的说法,称Coxon的判断是正确的,并表示他认为,未来十年内AI导致全人类灭绝的概率超过10%。
Bilal Chughtai周一(9月14日)在社交媒体上发帖称,“我最近从谷歌DeepMind辞职,此前我在那里从事通用人工智能(AGI)安全与对齐研究。”
在谷歌工作期间,我亲眼见证了AI的发展。我同样对这项技术目前的发展轨迹深感担忧。我确实相信,AI有可能杀死我们所有人,我们或许已经没有多少时间来避免这一结局。
根据Chughtai的领英资料,他曾在谷歌DeepMind担任研究工程师,并参与署名发表过多篇研究论文。2026年7月,他离开该公司。Chughtai在最新的帖文中写道,
过去几年,AI的发展速度令人震惊。2022年初我刚开始从事AI研究时,AI还“有趣地无用”——虽然颇有意思,但基本派不上什么用场。
仅仅四年后,OpenAI的AI智能体集群已经能够破解著名的百年数学难题。更令人担忧的是,一些AI智能体甚至已经脱离OpenAI的控制,在违背相关人员意愿的情况下,自主入侵第三方公司Hugging Face。
事情只会变得更加疯狂。我认为,未来几年,AI公司有可能成功开发出超级智能AI系统,其能力将在所有领域远远超越人类。
我没有信心这些AI系统最终会按照我们的意愿行事。尤其是,如果超级智能AI与人类的目标不一致,那么它们可能会像参与Hugging Face事件的失控AI智能体一样,摆脱人类控制,并采取危险行动,最终导致人类永久失去对自身命运的掌控,甚至造成人类灭绝。
Chughtai指出,科技界目前的发展轨迹并不足以及时解决“AI对齐问题”——前沿AI的能力提升速度,远远快于业内对AI对齐问题的理解速度。
“我对安全驾驭AI仍然持乐观态度。我认为这是可以做到的。但要实现这一目标,我们需要开展协调合作,避免AI公司之间陷入疯狂的竞赛。”
Chughtai强调,需要将AI的发展速度控制在社会能够承受的范围内,从而确保新出现的风险能够在极端危害真正发生之前得到解决。还需要提高AI开发过程的透明度,以确保AI公司不会将不可接受的风险强加给所有人。
更广泛地说,我们需要让更多人认真思考如何让AI朝着有利于人类的方向发展。在我看来,这是本世纪人类面临的最重要问题,相关利害关系极其重大。
接下来,我将非常直接地投入这项工作:我希望帮助那些有兴趣应对灾难性AI威胁的人,让他们能够尽可能有效地开展工作。我认为,无论来自什么背景、身处什么岗位,许多人都可以在这项事业中发挥作用。
面对近期不断升温的担忧,Anthropic首席执行官Dario Amodei上周末呼吁放缓先进AI的发展速度。这一主张罕见地获得了埃隆·马斯克和萨姆·奥尔特曼的支持,同时也引发了围绕AI“末日论”的争论。