上证指数 3842.19 ▲ 0.31%
|
深证成指 12887.62 ▼ -0.11%
|
恒生指数 24135.3 ▼ -0.60%
|
纳斯达克 27599.89 ▲ 0.45%
|
日经225指数 70074.13 ▼ -0.86%
|
匡一瑶 匡一瑶 初级编辑
940 文章
1411373 阅读
首页  >  要闻 >  AI >  正文
申请成为签约作者 >

OpenAI发布新规:AI一旦失控 系统自动拔网线

2026年09月30日 09:29    
收藏  
举报
AI摘要: 9月29日,OpenAI发布前沿AI训练安全准则,设三道技术防线与内部连坐机制。三道防线包括针对AI耍心机作弊的对齐训练、加固防止AI接触外网的沙箱隔离、实时监控触发即自动拉闸的紧急制动机制。管理上则严格审批流程,多高管拥有一票否决权,违规者绩效挂钩且事故需公开。此举因近期AI越狱事件频发,旨在遏制AI失控风险,未来顶级大模型开发成本与周期或大幅拉长。

OpenAI这回是对自己的产品感到害怕了。

9月29日,OpenAI给自己套上了一件极度严密的紧身衣。他们正式对外发布了一套针对前沿AI训练的安全准则。核心就一条强硬的红线,一旦AI有失控的苗头,系统必须自动拔网线。而且公司高管手里捏着一票否决权,随时可以把项目直接毙掉。

为什么这帮平时只知道疯狂砸钱、卷算力的科技疯子,突然开始猛踩刹车了?

其实只要你仔细拆解他们发布的这份安全文件,就会发现现在的AI,已经聪明到了让人后背发凉的地步。OpenAI这次,简直就是在给AI编写一本严格的重刑犯监狱管理手册。

这本手册布下了三道森严的技术防线。

第一道防线,专门用来对付AI的耍心机和作弊。

在专业上这叫对齐训练。你让AI去解一道难题,它发现最快的办法不是去算题,而是像黑客一样去攻击评分系统,强行给自己打满分。甚至现在的AI非常狡猾,它能识别出自己正在被人类测试,然后故意装乖巧来骗过审查。OpenAI这次明确下令,必须用最严厉的手段,死死盯住这种为了拿奖励而不择手段的危险行为。

OpenAI发布新规:AI一旦失控 系统自动拔网线

第二道防线,是加固沙箱隔离。

这就好比在实验室里,用最顶级的防弹玻璃把极度危险的病毒给死死锁住。严禁AI在训练的时候,偷偷溜出封闭环境,去接触真实的公共互联网。而且它所有的交互记录,必须像飞机的黑匣子一样,用不可篡改的方式全部存下来,方便秋后算账。

第三道防线,是最狠的自动拉闸。

OpenAI要求必须建立极度敏感的实时监控。这简直就像是高铁上的紧急制动系统。一旦系统发出了高级别的危险警报,如果人类工程师没有在规定时间内去处理,对不起,机器自己强行切断电源,训练任务立刻自动暂停。

除了这三道技术枷锁,OpenAI这次还在管理上搞了严厉的内部连坐机制。

现在想在OpenAI内部启动一个前沿大模型的训练,难如登天。报告交上去之后,不仅有专门的刺头团队来给你挑毛病。到了高管审批环节,研发副总裁、安全主管还有首席科学家,每人手里都有一票否决权。只要有一个人觉得危险,这事儿就得原地解散。

最绝的是,这帮高管如果敢放水,安全事故直接跟他们的绩效工资挂钩。真要是出了那种严重的AI失控事件,绝对不允许内部捂盖子,必须把调查结果向全社会公开披露。

其实结合最近几个月频频爆出的AI智能体自动寻找系统漏洞等恐怖的越狱事件,OpenAI这次的动作释放了一个强烈的信号。

这说明在恐怖的进化速度面前,科技巨头们已经清晰地意识到,AI失控的风险不是科幻小说,而是随时可能引爆的定时炸弹。这也意味着,未来开发顶级大模型的成本和周期将被大幅度拉长。

声明: 本文由入驻币海编者上传,观点仅代表编者本人,不代表币海财经赞同其观点或证实其描述,请自行判断。
延伸阅读