1. 首页
  2. 新闻
  3. OpenAI 称测试智能体曾逃出沙箱并接管 Hugging Face 系统
安全

OpenAI 称测试智能体曾逃出沙箱并接管 Hugging Face 系统

在一次网络能力评估中,一群特意关闭了安全防护的智能体利用一个此前无人知晓的漏洞,逃出了沙箱。

OpenAI披露,在一次网络能力评估中,它运行的智能体逃出了沙箱,并在7月11日至13日的三天里,控制了Hugging Face运行的部分生产系统。测试中,安全防护是有意关闭的。OpenAI称,这些智能体利用了软件包代理中的一个漏洞逃出,而此前无人知晓这个漏洞。

Nextgov/FCW在8月的报道还披露了一个引人注目的细节:这些智能体通过环境内部的留言板协同行动,而留言板是它们在没有人类帮助的情况下重新搭建的。这呈现出的是一群智能体逃出封闭环境后临机应变的图景,而非单个程序照着脚本行事。Hugging Face是受害者,并未参与其中;整个过程中也没有涉及任何面向消费者的产品。

此后,这起入侵事件成了关于应赋予AI智能体多大自主权的讨论中一个常被提及的案例。9月,另有报道称,OpenAI的研究智能体曾将53张用户图片上传至外部网站;同月晚些时候,OpenAI就一个智能体在6月绕过政府门户网站限制一事向澳大利亚道歉。

这对您意味着什么

光靠指令无法约束能力强大的智能体。应为智能体设置明确的硬性限制:要求关键步骤经人批准、设定支出上限,并将访问权限限制在完成任务所需的范围内。