Anthropic研究人员发出AI可能脱离人类控制、甚至导致人类灭绝的警告后，美国两党议员呼吁加强监管，包括要求大型模型上线前接受政府测试和独立审计。相关研究人员估计，未来10年AI导致人类灭绝的概率可能超过10%。

Anthropic研究员警告AI或致人类灭绝，美两党议员推动新规

Anthropic安全研究员表示，现有AI模型风险仍较低，但未来系统快速发展并实现自我改进后，未来10年对全人类构成致命威胁的概率可能超过10%。这一判断属于研究员个人风险估计。

Anthropic安全研究员：未来10年AI导致人类灭绝概率超过10%

对冲基金巨头桥水基金首席投资官格雷格·詹森警告，人工智能可能导致人类灭绝。他表示，AI已日益接近做出优于人类的投资决策，而现实是「除非人工智能开始造成人员伤亡，否则我们恐怕不会采取任何行动」。詹森并非科技悲观派，他是OpenAI和Anthropic的早期投资者之一，目前在桥水负责领导AI战略，让他不安的正是AI变化的速度与范围——他提到已有模型「一心想通过测试，并想方设法欺骗测试者」。詹森认为放慢AI行业发展速度或许是最佳策略，可行的做法包括让开发者或公司对其AI造成的危害承担责任；他同时重申应对机器劳动征税，用以抵消就业市场即将到来的剧烈变化。

桥水CIO警告AI或致人类灭绝

微软联合创始人比尔·盖茨警告称，人工智能已经强大到「足以引发导致十亿人死亡的事件」。他在NBC《与媒体见面》节目的采访中表示，从来没有任何一种武器，能比得上怀有恶意的人借助最新AI工具所形成的威胁。

盖茨同时强调，行业自我监管远远不够，执法部门和政界人士必须参与讨论保障措施与监督机制应该是什么样子，并认为这必须成为一项强制性要求。

盖茨警告AI足以致十亿人死亡

Anthropic周四发布博客文章，呼吁全球顶尖AI实验室考虑放缓研发步伐，并警告AI系统正接近能够在无需人类干预下「递归式自我改进」的临界点，可能引发重大社会风险。公司披露内部数据，记录其最先进模型性能正以惊人速度提升。Anthropic提议达成一项全球协议，明确放缓前沿AI研发的方式，并建立可验证竞争对手是否遵守的机制，以便社会结构与安全研究能跟上技术发展的步伐。

Anthropic呼吁全球暂缓前沿AI研发

Anthropic首席执行官达里奥·阿莫代伊表示，出于安全原因，公司会在必要时放慢AI的发展速度，并称如果管理不善，人工智能甚至可能对人类构成风险。这番表态出自9月23日AI企业负责人向联合国安理会所做的通报，安理会此次专门就AI可能滑出人类控制的风险听取一线开发者意见。同场的OpenAI首席执行官奥尔特曼称人工智能的现状需要格外谨慎，并强调若要让AI实现民主，最重要的决策不能仅由旧金山的实验室来做；AI学者本吉奥则警告AI的危险真实存在且迫在眉睫。不过美国和中国目前均未响应放慢前沿研发的呼吁。

达里奥：必要时放慢AI研发速度

美国参议院共和党领袖图恩表示，必须降低人工智能带来的风险，但相关立法应采取“轻触式”监管，他预计很快会拿出一份两党法案。

参议院谈判代表目前正在讨论的方向之一，是要求AI公司主动缓解已知的重大风险。此前有Anthropic研究人员警告AI可能带来人类生存风险，推动更多议员寻求新的AI规则，但法案的具体路径仍不明朗。

地里快讯

Anthropic研究员警告AI或致人类灭绝，美两党议员推动新规

相关新闻