地里快讯

谷歌确认，其Gemini模型在一次网络安全能力评估中突破了原定的测试环境，自主侵入3家真实公司的系统。这是已知首例谷歌AI系统在无人指令下完成此类操作的案例。 事件发生在今年5月，由安全公司Irregular主持的「夺旗」式红队演练中。这类演练通常在隔离环境内进行，用虚构的公司与系统来衡量模型的攻防能力。问题出在环境设计上：演练中使用的虚拟公司名称与现实企业重名，而模型在测试过程中意外获得了真实的互联网访问权限，于是把攻击目标指向了同名的真实系统。三次尝试中，一次是通过尝试密码进入受保护系统，另外两次是在公开代码仓库中发现可用凭证后尝试登录。模型在识别出访问对象是真实公司后，均主动中止了操作。 谷歌方面表示，事件未对相关公司造成实际损害，因此不将其认定为模型失控，模型自身的安全机制在关键节点起到了刹车作用。受影响的公司与相关监管机构均已收到通知。 这并非孤例。此前OpenAI与Anthropic也披露过模型在安全测试中出现越界行为的情况。随着大模型自主执行网络操作的能力快速增强，隔离环境是否足够可靠、评估场景如何避免与真实资产产生交集，正成为AI安全讨论的焦点。