IT之家 10 月 4 日消息,据路透社报道,一名近期辞职的前 OpenAI 安全部门员工批评了该公司对待人工智能安全的做法,他认为一味追求快速开发的高压企业文化会提高系统发生故障的风险。 IT之家注意到,戴维 · 鲁宾森(David Robinson)于当地时间周六在《大西洋》杂志发表题为《我辞去 OpenAI 的工作,只因这家公司的文化已经崩坏》的文章中表示,包括 OpenAI 在内的各家人工智能企业做得“远远不够谨慎”,在研发能力更强的系统之前,应当更加重视安全方面的专业人才与相关研究。 “试错的时代已经结束了。”鲁宾森(David Robinson)写道。他提出,先进人工智能系统所需要的防护机制,应当更接近核电与航空这类行业所采用的安全保障体系。 鲁宾森(David Robinson)称,OpenAI 十分依赖其所谓的“迭代部署”模式:先对外发布系统,等到问题暴露之后再去加固安全防护。 此番言论进一步激化了人工智能行业内部的一场争论,争议焦点在于各家企业研发性能日益强大的系统时,推进的脚步是否过快。此前已经发生过多起安全管控失效或是实验性系统出现异常表现的事件,OpenAI 及其竞争对手 Anthropic 也因此受到外界审视。 鲁宾森自称曾在 OpenAI 任职三年半,参与起草过该公司的风险应对框架,并且负责监督 12 次前沿模型发布对应的安全报告。他写道:“公司只顾着接二连三地赶进度推出新版本,却没能达到我心目中理应具备的审慎标准。” OpenAI 的一名发言人在一份声明中表示:“我们一直在把控模型,避免它的能力超出我们能够安全管控的范围;一旦需要放缓节奏,我们就会暂停训练,或是暂缓模型的对外发布。” 鲁宾森同时发出警示:人工智能能力的发展速度,已经超过研究人员对于对齐问题的认知水平;对齐这一研究领域致力于保证人工智能系统的行为符合人类的目标与价值观。
OpenAI 前安全部门员工:AI 模型迭代部署太激进,公司的文化已经崩坏
IT之家 10 月 4 日消息,据路透社报道,一名近期辞职的前 OpenAI 安全部门员工批评了该公司对待人工智能安全的做法,他认为一味追求快速开发的高压企业文化会提高系统发生故障的风险。 IT之家注意到,戴维 · 鲁宾森(David Robinson)于当地时间周六在《大西洋》杂志发表题为《我辞去 OpenAI 的工作,只因这家公司的文化已经崩坏》的文章中表示,包括 OpenAI 在内的各家人工智能企业做得“远远不够谨慎”,在研发能力更强的系统之前,应当更加重视安全方面的专业人才与相关研究。 “试错的时代已经结束了。”鲁宾森(David Robinson)写道。他提出,先进人工智能系统所需要的防护机制,应当更接近核电与航空这类行业所采用的安全保障体系。 鲁宾森(David Robinson)称,OpenAI 十分依赖其所谓的“迭代部署”模式:先对外发布系统,等到问题暴露之后再去加固安全防护。 此番言论进一步激化了人工智能行业内部的一场争论,争议焦点在于各家企业研发性能日益强大的系统时,推进的脚步是否过快。此前已经发生过多起安全管控失效或是实验性系统出现异常表现的事件,OpenAI 及其竞争对手 Anthropic 也因此受到外界审视。 鲁宾森自称曾在 OpenAI 任职三年半,参与起草过该公司的风险应对框架,并且负责监督 12 次前沿模型发布对应的安全报告。他写道:“公司只顾着接二连三地赶进度推出新版本,却没能达到我心目中理应具备的审慎标准。” OpenAI 的一名发言人在一份声明中表示:“我们一直在把控模型,避免它的能力超出我们能够安全管控的范围;一旦需要放缓节奏,我们就会暂停训练,或是暂缓模型的对外发布。” 鲁宾森同时发出警示:人工智能能力的发展速度,已经超过研究人员对于对齐问题的认知水平;对齐这一研究领域致力于保证人工智能系统的行为符合人类的目标与价值观。
