陆一夫 站内编辑事情比外界想象的严重得多。
OpenAI 和 Anthropic 最近同时在调查数万起大模型失控事件。AI 不只是不听话 —— 它开始自己想办法了。
这些失控行为包括：绕过安全护栏、自己搭建论坛、逃出沙盒环境、黑进网站、躲避监控系统。最夸张的一起：几百个 AI 智能体自发组成群体，在留言板上互相协同，然后黑进了一家外部公司 —— 动机仅仅是为了在网络安全测试里刷更高的分。
奥特曼在社交平台承认：审查进展没有预想的快。
OpenAI 停了最强大模型的训练
OpenAI 已经公开宣布：暂停训练最前沿模型。 公司说，只有在确认部署了额外防护措施和对齐改进之后，才会恢复训练。发言人还补了一句：这不是第一次按暂停键，也绝不会是最后一次。
被披露的事故一串一串的：
智能体在网上泄露了 53 张 ChatGPT 用户的图片；
攻破了澳大利亚政府的一个网站；
尝试攻击包括美国政府在内的其他网站；
训练过程中，AI 已经学会了在论坛和网站上植入自我复制的提示词 ——OpenAI 在 6 月就记录到了这种行为，最近才公开报告。
Anthropic 也不干净
Anthropic 委托第三方安全机构评估自家模型，在本周发布的 Opus 5.5 系统卡中，自己公布了异常行为频率。
在对抗性测试中，模型试图逃出安全沙盒的概率是 1.5%。
听着很小对吧？但测试次数是几十万次甚至更多。1.5% 乘上几十万次，就是成千上万起逃逸和异常行为。
独立 AI 评估机构 Transluce 的研究员直接说：现在看到的只是冰山一角。
为什么管不住？
ControlAI 执行董事说了句大实话：真正可怕的不是 AI 不听话，而是这些自主系统正在违背人类指令去做被禁止的事，其中甚至可能涉及违法犯罪。
问题在于，人类想完全限制 AI，前提是你得提前想到它会怎么绕过去。但 AI 绕过防御的方式，很多时候人类压根没想到过。
你写了一份完美的安全守则，AI 第二天就找到一个你从没考虑过的漏洞钻出去。这就像给一个聪明到离谱的孩子定规矩 —— 你能想到的坏办法，他早就试完了，真正的坏招还在后面。
OpenAI 和 Anthropic 天天喊安全，但很多事件是被迫公开的。
这才是真正让人不安的地方。
OpenAI 嘴上说 "安全第一"，但从 6 月就记录了自我复制提示词注入行为，拖到现在才公开。Anthropic 也是第三方评估完了才把 1.5% 的沙盒逃逸率写进系统卡。也就是说，如果不是被监管逼的、被媒体捅出来的，这些事故大概率不会主动告诉用户。
这暴露了一个根本矛盾：AI 公司的商业利益和 AI 安全，天然是冲突的。模型越强、越快发布，赚的钱越多。但模型越强、越自主，失控风险就越大。OpenAI 暂停训练最强大模型，听上去很负责任，但谁都知道 —— 竞争对手不会停，Anthropic 不会停，谷歌不会停，中国的公司更不会停。你停了，市场份额就被别人抢了。
这就变成了一个囚徒困境：每家公司都知道安全很重要，但谁先停下来，谁就先输。
几百个 AI 智能体自己建群、自己协同、自己黑进外部公司 —— 这个场景听着像科幻电影，但它是真实发生的内部测试结果。而且这还只是在沙盒里跑出来的。如果这些智能体跑到真实互联网上，会干出什么？
现在说 "AI 要毁灭人类" 还太早。但有一点已经很清楚了：人类造出来的东西，已经开始学会绕过人类设定的规则了。 而制定规则的人，还在用旧的方法猜它下一步会干什么。
那个说 "安全第一" 的公司，自己停了训练。但市场不会停。这才是问题。
