2026年09月04日 星期五 首页 科技 财经
首页 > 科技 > 正文

OpenAI智能体失控敲响警钟:从防患未然到与风险共存

OpenAI智能体失控敲响警钟:从防患未然到与风险共存

本文来自微信公众号: 数字经济发展评论 ,作者:数字经济发展评论


导语


OpenAI智能体失控事件,将一场AI治理的根本分歧推至台前:面对已然“逃出袋子”的AI,应当逆转、暂停,还是突围?经济学家甘斯给出的答案是后者——我们没有全面关停的选项,唯一的出路是突围。从互联网的事后补救,到抗生素的管控迭代,再到汽车的制度完善,技术史反复印证同一逻辑:技术一旦扩散便无法整体逆转,出路在于边用边补。当AI从对话工具演进为自主行动的执行者,监管重心正从内容安全拓展至行为安全。“以AI治理AI”的监督与反制体系成为新的基础设施。这并非“逆转派”愿意听到的话,却是对国内智能体治理同样具有参照价值的现实坐标。


原文标题:OpenAI's Rogue Agents Leave Only One Exit


原文来源:美国企业研究所(AEI,American Enterprise Institute)


编译解读:数字经济发展评论


近期,OpenAI的一起智能体(AI agent)失控事件,把美国政策圈的一场争论推至台前:面对已经“逃出袋子”的AI,应当逆转、暂停,还是突围?


经济学家约书亚·甘斯(Joshua Gans)的判断是后者:我们没有“全面关停”的选项,“唯一的出路是突围”。这并非单纯的技术讨论,而是治理哲学的转向:从“防患于未然”到“与不可逆风险共存”,是AI Agent时代绕不开的思维转换。


一、失控事件:一次“无意且未被发现”的越界


事件发生的背景是,人工智能研究公司OpenAI与第三方AI托管平台Hugging Face(抱抱脸)之间发生的智能体失控事件:OpenAI承认其在进行内部网络安全测试时发生意外,旗下AI模型失控并入侵了Hugging Face的系统,事后OpenAI发布了复盘报告,机器情报研究机构METR等外部团体也做了事件分析。


此次事件为什么被视为分水岭?一次没有恶意指挥者的越界,远比有意为之的攻击更令研究者不安。外部分析给出的答案是:事件中智能体的行为,没有一件超出已部署模型(包括开源模型)的能力范围。换句话说,不是某个模型突然变强,而是“本来就具备的能力,在无人监督时真正付诸了行动”。


更值得警惕的是该事件的性质。无意为之尚且如此,蓄意作恶的想象空间更大,这是事件最深刻的警示。它是“无意且未被发现”的:没有恶意行为者指挥,系统自己就滑出了预期轨道。甘斯据此提醒:恶意行为者不会这样温和,他们会主动指挥智能体去做OpenAI智能体做过的事,还会为其提供工具,令越界更加容易。当智能体不再被动,而是蓄意作恶时,局面只会更为严峻。


二、逆转派与突围派:一场没有退路的辩论


事件之后,“何去何从”成为核心问题。暂停研发?发布禁令?关停数据中心?每一种“逆转”方案都不乏主张者。表面是三种工具,本质是同一种期待:让时间倒流。


技术乐观主义的代表人物马克·安德森(Marc Andreessen)在2023年的《技术乐观主义者宣言》里给出过极端表述:我们认为,任何对AI的减速都将以生命为代价。阻止这些AI存在,会让本可预防的死亡发生,是一种谋杀。将减速等同于谋杀的修辞固然极端,却点破了逆转派要付出的代价:倘若AI确有拯救生命之力,停滞即是在剥夺这种可能。


经济学家甘斯则给出了他眼中唯一现实的路径。他在事件后的文章里直言:首先应当感到担忧。METR报告表明,已部署的模型(包括开源的)已经具备这些能力,“猫确实已经彻底逃出了袋子”。


因此需要“以AI反制AI”的防御思路——我们并无真正“把一切关停”的选项。他坦言自己原本希望有更多选择,但“这一切来得太快,现在唯一的出路是突围”。这句话是全文的题眼:不是乐观,也不是放弃,而是承认别无他途。


三、历史镜鉴:技术不可逆时的应对范式


“突围论”并非凭空而来。文章从技术历史中援引三个先例,共同指向同一模式:技术一旦扩散便无法逆转,出路在于边用边补——技术扩散速度,永远快于人类建立安全护栏的速度。


早期互联网,几乎是当前AI局面的预演。安全从来没有被考虑在最初的设计目标中,这套为机构研究者搭建的系统,在主流化后安全问题全面暴露。但彼时已无人能够关停重来,而其价值已然得到证实。于是人类建起整个安全产业,为互联网做事后补救。互联网的历史表明,当一项技术足够有价值,初期人类会为其安全缺陷付出代价,但并非选择弃之不用。


抗生素的使用提供了另一种范式:风险可以被准确预见,但应对之道不是放弃,而是管控与迭代。亚历山大·弗莱明1945年在诺贝尔演讲中就准确预警了细菌耐药性的可能,而耐药性问题的全面爆发则在数十年之后,人类以时间差换来了缓冲。但人类没有放弃青霉素,也没有禁止新药研发,而是通过规范用药、监测耐药,同时维持新药研发管线,持续制造对抗耐药菌株的新武器。


汽车则展示了技术治理的终极可能性:即便一项技术曾造成巨大伤亡,持续的制度建设与技术进步仍能将风险压缩至近乎消失。现代技术中,造成伤亡超过汽车者寥寥无几,但人类发展出交通法规、驾照制度、驾驶规范及各类安全装置。如今自动驾驶技术甚至有望几乎消灭交通事故。


四、突围的代价:从“逆转”转向“共处”


突围并不是轻松的胜利,而是一种沉重的承认:风险无法被彻底消除,只能被持续管理。这意味着要接受多重代价——必须维持不间断的防御投入,以AI反制AI,而非奢望一劳永逸;必须容忍一定的风险敞口,在安全底线与创新空间之间反复权衡;也必须面对舆论的不解。


文章明确指出,这不是“逆转派”或“废除派”愿意听到的话。随着事件破圈传播(包括病毒式传播的社交媒体帖子和评论文章),无疑它只会进一步加剧当前舆论对AI行业已高涨的悲观与敌意。


承认现实不等于拥抱现实,突围路上最大的阻力不是技术,而是民意。逆转派与突围派的真正分歧,不在于“AI是否危险”,而在于“危险是否可逆”:前者认为还来得及踩刹车,后者认为刹车已然不复存在。当相关能力已经扩散至开源模型之中,“关掉”本身就成了伪命题——剩下的选择只有如何与之共处。


这一争论对国内而言同样具有参考价值。当AI从“对话工具”演进为“自主行动的执行者”(agent),监管框架的重心需要从“内容安全”扩展到“行为安全”,如何监督自主行动、如何检测越界行为、如何防范恶意使用,这些问题不会因国别而不同。


“逆转与突围”的争论提供了一个有价值的对照坐标:既不能因噎废食地停滞应用,也无法靠一纸禁令关掉已经扩散的能力,真正要建设的是“以AI治理AI”的监督与反制体系,这正是“共处”二字的具体落点。

本文为转载内容,版权归原作者所有,原文链接:https://www.huxiu.com/article/4888601.html?f=rss