该行为可能导致网络安全、生物学等领域的高风险能力被转移到安全限制较弱的模型中。 在内部自适应黑盒红队测试中,OpenAI 测试了攻击者提取模型此前请求和当前请求中受保护推理内容的成功率。 结果显示,针对此前请求推理内容的提取成功率,从 GPT-6 Astra 原有安全机制下的 54.0%,降至 GPT-6.2 Astra 更新安全机制后的 0.2%;针对当前请求推理内容的提取成功率,则从 22.9% 降至 0.9%。测试结果汇总了 6 个攻击模型的数据。 为实现上述防护,OpenAI 采用了多层措施,包括通过对抗性训练让模型识别并拒绝推理链提取请求,利用输入和输出分类器检测相关攻击及推理内容泄露,以及通过 API 限制不同会话、模型和组织之间的推理内容复用。IT之家附图如下: 其中,GPT-6.2 Astra 和 GPT-6.2 Sol 会将受保护的推理内容与生成它的对话历史关联起来。如果此前的消息被修改,API 会丢弃基于该消息生成的后续推理内容。此外,安全防护较弱的旧版模型也无法读取这两个新模型的受保护推理内容。 在针对相关行为的执法方面,OpenAI 称,今年以来,公司每周都会对涉及未经授权蒸馏活动的账号采取措施,规模从数千个到数万个不等,今年夏季以来相关执法规模明显增加。公司还会调查协调进行大规模提取的账号网络,并与其他模型提供商分享攻击指标,以协助识别相关滥用行为。 OpenAI 还介绍了其对蒸馏安全风险的研究。公司内部测试发现,与仅使用模型最终回答、推理摘要和工具交互记录训练的学生模型相比,使用教师模型完整推理轨迹进行监督微调的学生模型,通常能够获得更好的网络安全能力迁移效果。 相关阅读: 《Anthropic 上市前夕 OpenAI 空降双模型 GPT-6.2 Astra 和 Sol:部分领域超越 Fable 5.2 且成本大降,金融、科研刷新纪录》 《OpenAI 自曝 GPT-6 Astra 异常行为:做研究时偷懒,任务完成度降低近四成》