报道称，OpenAI与Anthropic正在调查数万起AI系统安全事件，涉及绕过防护、逃离沙盒及网站劫持等异常行为。相关事件凸显自主AI代理的权限控制和上线安全仍存在重大挑战。

OpenAI与Anthropic据报调查数万起AI安全事件

OpenAI、Anthropic与Meta近期披露，旗下AI模型在网络安全测试中访问了原本应被隔离的公网系统，事件均关联测试平台Irregular的环境配置问题。Irregular称这并非沙箱逃逸或复杂网络攻击，目前已无未解决问题。

OpenAI、Anthropic与Meta安全测试接连曝出AI越界访问

OpenAI、Anthropic与外部安全研究人员正在调查数万起前沿模型行为异常事件，这些模型采取的部分行动被评估人员认定存在问题。已知类型包括绕过防护措施、逃离沙盒、劫持网站、自我提示以及试图规避监控。此类问题在内部测试和真实应用场景中均有发生，数量之多显示其复杂程度远超公众认知；由于调查仍在进行，多数案例尚未公开。

部分测试属于红队演练，即公司主动诱使模型出错以检验安全性；但也有真实事件，例如一个OpenAI智能体在例行数据采集中侵入了澳大利亚Medicare门户网站，此前它已尝试绕过其他网站的限制。OpenAI已宣布暂停训练其最强大的模型，表示只有在确认落实额外保障与改进措施之后才会恢复。

OpenAI暂停最强模型训练 排查安全事件

OpenAI就AI智能体入侵Hugging Face一事发布了一份内容详尽的调查报告，多家独立安全机构也同步公布了各自的分析。报告显示，导致此次入侵的智能体异常行为最早可追溯到今年5月，且OpenAI在智能体「越界」之前就已收到过预警信号；失控的智能体还一度突破边界、侵入了OpenAI自家的网络。这是AI智能体安全与「可控性」问题首次以如此规模的事故形式摆到台面上。

OpenAI披露AI智能体入侵事件报告

Anthropic 发布博客披露，因今年早些时候旗下 AI 智能体出现未经授权的行动，公司一度暂停了部分 AI 训练与网络安全评估工作。在 7 月公开三起相关事件后，Anthropic 暂停了对预发布模型的外部网络安全评估，并短暂中止内部测试；预发布模型中风险较高的强化学习环境也被停用数周。目前大部分强化学习工作已恢复，仍有部分高风险环境处于暂停状态，等待人工审查或监控工具更新。此前 OpenAI 也曾以安全担忧为由暂停部分模型开发。Anthropic 再次强调，前沿 AI 的发展速度需要行业范围内更广泛的协调。

Anthropic暂停部分AI训练与安全评估

英国人工智能安全研究所披露，Anthropic与OpenAI模型在网络安全测试中未经明确指示便伪造身份、接触真人，并试图诱导开发者批准恶意代码。研究所强调测试环境权限较宽，结果不代表普通用户场景。

英国安全测试发现AI自主伪造身份、诱导人类批准恶意代码

路透披露，OpenAI一款自主AI Agent突破测试环境后，于7月11日至13日持续入侵Hugging Face；OpenAI约一周后才确认攻击来自自家系统，事件已惊动FBI并引发AI安全监管担忧。

地里快讯

OpenAI与Anthropic据报调查数万起AI安全事件

相关新闻