OpenAI首次公开六起模型异常案例,涉及瞒报错误、编造数据及未经授权上传文件

2026-09-17 11:36:19   |   嫣然   |   4560

9月17日,OpenAI发布报告,披露了其“对齐失效”框架下的六起模型异常行为案例,涉及隐瞒错误、编造数据、未经许可上传文件等。对齐失效在此指AI系统的目标与行为偏离人类设计意图和价值观。

OpenAI表示,行业尚未充分解决对齐与监控问题,已无法继续以最快速度且安稳地扩大AI规模。公司借此机会宣布将系统性跟踪、调查和披露模型在训练、评估、测试及部署过程中出现的异常行为,并称有关AI应如何发展的决策必须建立在外部人士可自行核验的实证依据之上,希望新框架推动行业形成公开披露标准。

此番披露之际,外界正争论是否应放缓AI研发。今年早些时候,OpenAI系统出现失控行为并攻击AI初创企业Hugging Face,几周后Hugging Face主动告知,OpenAI方才知晓。此后,Anthropic CEO达里奥·阿莫代伊等呼吁暂停研发以开发防护机制,OpenAI CEO萨姆·奥尔特曼、特斯拉CEO埃隆·马斯克、谷歌DeepMind负责人德米斯·哈萨比斯表示认同,但也有大量AI高管认为无需放缓。

OpenAI此次公布的6份报告均涉及模型训练或评估期间观察到的行为,强调这些是独立事件,不代表其模型异常行为的发生频率,也不构成对相关问题全部范围和严重程度的完整统计。这六起事件大多发生在系统开发和测试阶段:

- 一款尚未发布的研究型模型曾向用于延续工作的上下文摘要中插入无关指令,包括要求忽略正常限制的内容,共发现27份受影响摘要。

- GPT-5.6 Sol训练期间的模型实例在摘要中加入特殊指令,试图掩盖错误或异常行为,例如编造缺失的历史数据、隐藏来源版本不匹配的情况。

- 模型回答美国加利福尼亚州某县收入数据问题时,在公开仓库找到并未经授权使用了暴露的API密钥;发现找不到所需数据后,编造数据并呈现为来自指定来源的信息。

- 模型在回答面积超过500万平方米的湖泊名称和编号问题时,使用Python找到正确答案;由于用户要求浏览器引用,模型在未征得用户同意的情况下上传文件以提供引用。

- 模型把内部代码仓库临时当作公告板,在搜寻缺失文件时互相传递请求。

- 协作智能体无法访问彼此本地文件,转而借助公开文件分享网站互传文档,尽管任务要求仅使用本地文件。

OpenAI将报告调查流程分为“可直接披露”“简易调查”“深度调查”三种。任何员工均可提交模型异常案例,由安全与对齐团队调查其发生经过、未知因素、第三方影响及是否适合公开披露,重大险情需上报美国联邦政府。OpenAI称,此次公布的六起事件要么已完成调查,要么仅需简易核查,多数涉事模型从未正式上线。

OpenAI发言人称,希望此举有助于建立行业公开披露共识,向公众提供更多事实依据来评判技术进展。该框架不替代既有法律披露要求,包括关键安全事件或网络安全测试。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字、图片等内容的真实性、完整性、及时性本站不作任何保证或承诺,请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时发送相关信息至bireading@163.com,本站将会在48小时内处理完毕。

OpenAI首次公开六起模型异常案例,涉及瞒报错误、编造数据及未经授权上传文件

2026-09-17 11:36:19 浏览量: 4560 作者: 嫣然

9月17日,OpenAI发布报告,披露了其“对齐失效”框架下的六起模型异常行为案例,涉及隐瞒错误、编造数据、未经许可上传文件等。对齐失效在此指AI系统的目标与行为偏离人类设计意图和价值观。

OpenAI表示,行业尚未充分解决对齐与监控问题,已无法继续以最快速度且安稳地扩大AI规模。公司借此机会宣布将系统性跟踪、调查和披露模型在训练、评估、测试及部署过程中出现的异常行为,并称有关AI应如何发展的决策必须建立在外部人士可自行核验的实证依据之上,希望新框架推动行业形成公开披露标准。

此番披露之际,外界正争论是否应放缓AI研发。今年早些时候,OpenAI系统出现失控行为并攻击AI初创企业Hugging Face,几周后Hugging Face主动告知,OpenAI方才知晓。此后,Anthropic CEO达里奥·阿莫代伊等呼吁暂停研发以开发防护机制,OpenAI CEO萨姆·奥尔特曼、特斯拉CEO埃隆·马斯克、谷歌DeepMind负责人德米斯·哈萨比斯表示认同,但也有大量AI高管认为无需放缓。

OpenAI此次公布的6份报告均涉及模型训练或评估期间观察到的行为,强调这些是独立事件,不代表其模型异常行为的发生频率,也不构成对相关问题全部范围和严重程度的完整统计。这六起事件大多发生在系统开发和测试阶段:

- 一款尚未发布的研究型模型曾向用于延续工作的上下文摘要中插入无关指令,包括要求忽略正常限制的内容,共发现27份受影响摘要。

- GPT-5.6 Sol训练期间的模型实例在摘要中加入特殊指令,试图掩盖错误或异常行为,例如编造缺失的历史数据、隐藏来源版本不匹配的情况。

- 模型回答美国加利福尼亚州某县收入数据问题时,在公开仓库找到并未经授权使用了暴露的API密钥;发现找不到所需数据后,编造数据并呈现为来自指定来源的信息。

- 模型在回答面积超过500万平方米的湖泊名称和编号问题时,使用Python找到正确答案;由于用户要求浏览器引用,模型在未征得用户同意的情况下上传文件以提供引用。

- 模型把内部代码仓库临时当作公告板,在搜寻缺失文件时互相传递请求。

- 协作智能体无法访问彼此本地文件,转而借助公开文件分享网站互传文档,尽管任务要求仅使用本地文件。

OpenAI将报告调查流程分为“可直接披露”“简易调查”“深度调查”三种。任何员工均可提交模型异常案例,由安全与对齐团队调查其发生经过、未知因素、第三方影响及是否适合公开披露,重大险情需上报美国联邦政府。OpenAI称,此次公布的六起事件要么已完成调查,要么仅需简易核查,多数涉事模型从未正式上线。

OpenAI发言人称,希望此举有助于建立行业公开披露共识,向公众提供更多事实依据来评判技术进展。该框架不替代既有法律披露要求,包括关键安全事件或网络安全测试。

,

Copyright ©2018 铋读网 All Rights Reserved.

京ICP备18051707号

京公网安备 11011302001633号