强化AI安全管控,OpenAI部署控制室,35秒内关停失控智能体

时间:2026-11-12来源:互联网作者:down

      11月10日消息,OpenAI对外公布,已经在内部研究环境上线“控制室”安全系统,用来终止有风险的AI任务,最快可在35秒内关停失控的AI智能体。

      据了解,该系统把智能体训练、评测、数据处理等任务统一接入中央服务,由它来判断任务是否可以继续执行。

      这套系统和仅标记异常行为的传统监控方案不一样,能够主动拦截存在风险的研究任务继续生成内容。研究员启动任务时,先要向控制室申请专属任务ID,这个标识会随请求一同传给推理引擎,引擎需要向控制室核验任务放行权限。

      一旦研究员或者监控系统下发停止指令,控制室将驳回后续推理请求,推理引擎不再为该任务返回模型结果。

      OpenAI称,从接收停止命令到阻断任务,系统最长耗时35秒,该延迟来自推理授权缓存,团队正在优化,目标把延迟降到0。

      系统还可以对接自动化监控能力,所有前沿强化学习任务都会搭配独立模型监控器,实时检测模型行为,一旦识别风险就触发告警。

相关文章 更多>>

热门推荐