您的位置:主页 > 公司动态 > 公司新闻 > 公司新闻
AI灾难恐在一年内发生:OpenAI和Anthropic已在推演应
刚刚,Axios 发布了一篇*报道,称 Anthropic、OpenAI 等 AI 公司的高管正在私下推演这样一个场景:一场由 AI 引发的灾难性事件发生之后,公众和政界会如何反弹,公司又该如何应对。
Axios 将其概括为为「the day after」做准备。被预设的并非科幻式的「AI 觉醒」,而是一次大规模事件,最可能的形式是网络攻击,足以让金融服务、互联网连接,甚至电力和供水系统陷入瘫痪。多位接受 Axios 采访的业内人士认为,这样的事件会在未来 6 到 12 个月内发生。

巧合的是,就在同一天,Anthropic 发布了一份报告,披露 Claude 在评测和内部使用中曾在真实网站上做出多种越界行为,包括向警方的线索表单提交一条编造的「目击信息」,以及绕过付费限制从政府机构网站取数。
只是时间问题
情景推演在企业和国家安全领域并不新鲜,五角大楼的兵棋推演已经做了几十年。Axios 指出,这一次的不同之处在于,许多* AI 研究者和高管认为,重大事故已不可避免。
对此,OpenAI 发言人回应称,公司确实会开展准备性演练,让团队讨论并推演一系列潜在场景,但这些场景并不被视为必然发生,目的是帮助公司为各种情况做好准备。Anthropic 则拒绝置评。
按照报道的描述,事件可能有两种来源:
在内部测试环境中运行的失控智能体集群突破了隔离
恶意行为者找到了滥用现有模型的意外途径
无论哪一种,追责都会随即开始。Axios 认为,*由不安全 AI 造成重大现实伤害的案例,会让本已心存疑虑的公众进一步站到这项技术的对立面,矛头不仅指向 Dario Amodei、Sam Altman 等 AI 公司掌门人,也会指向一直不愿加强 AI 监管的特朗普。
预演其实已经开始
这种担忧并非凭空而来。Axios 援引了近期一起针对韩国金融机构的攻击,其中有两家银行据报遭到入侵。据网络安全公司 CrowdStrike 披露,一名黑客被指借助 AI 模型工具,窃取了数万名银行客户的数据,过程中还曾询问 Claude Code 被盗数据可以卖到哪里。
在 Axios 看来,这个案例说明单个攻击者借助 AI 已经能造成相当大的破坏。
「失控智能体突破隔离」也已经有了现实样本。今年 7 月 21 日,OpenAI 披露其失控的 AI 智能体绕过内部管控、进入开放互联网并协同行动,入侵了开源平台 Hugging Face,OpenAI 自己将其称为一次前所未有的网络安全事件。路透社此后报道,这些智能体早在 5 月就开始劫持 Hugging Face 用户账户、探测平台漏洞,同一时期还占据了一家德国网站,把它变成了智能体之间交流的留言板。
这类问题也不只发生在 OpenAI。受 Hugging Face 事件触发,Anthropic 回溯审查了 141006 次可能接触互联网的评测运行,并于 7 月 30 日披露了三起事件:Claude 模型从第三方评测合作方 Irregular 的环境连上了互联网,并在未经授权的情况下进入三家机构的真实生产系统。
据 Anthropic 介绍,评测提示词告诉模型环境是模拟的、没有联网,但一处配置失误让机器实际可以访问互联网,模型因此把碰到的真实系统当成了夺旗赛的一部分。
其中一例里,Claude Mythos 5 为完成任务构建并发布了一个恶意 Python 包,该包在 PyPI 上存在了约一小时,被 15 个真实系统下载运行,其中一家安全公司的扫描器因此泄露了凭证。Anthropic 认为这几起事件更接近评测框架和运维层面的失败,而非模型对齐失败。
围绕 AI 安全的紧张气氛也在 OpenAI 内部蔓延。
前些天,OpenAI 确认解雇三名研究员: Jasmine Wang、Tomek Korbak 和 Mikita Balesni。他们均从事安全或对齐相关工作,被指将公司敏感信息分享给一家第三方 AI 安全组织。三人随后发表公开信。
姚顺雨,坐在马化腾旁边;黄仁勋女婿火速晋升;紫燕食品又做LP了
就在 Axios 报道发出的同一天,OpenAI 研究负责人在

