OpenAI 提议制定聚焦于对齐和相对强弱指数的全球 AI 安全标准

关键要点

  • OpenAI 周一发布了关于前沿人工智能安全标准的提案,重点关注对齐研究和递归自我改进。
  • OpenAI 建议开展国际合作,为全球前沿人工智能模型和开发者制定技术标准。
  • OpenAI 警告称,在确保人工智能系统仍受人类控制之前,不应追求完全自主的递归自我改进。

OpenAI 周一发布了一系列关于前沿人工智能开发过程中安全与保障的提案,重点关注对齐研究和递归自我改进(RSI)。该公司表示,要安全地应对人工智能转型,就需要让对齐研究跟上能力发展的步伐,从而确保系统始终与人类价值观保持一致,并处于人类控制之下。OpenAI 呼吁开展国际合作,以制定前沿标准,并建议在全球现有人工智能安全研究机构工作的基础上推进相关工作,同时制定重点关注前沿人工智能模型、开发者以及开展自动化人工智能研究的研究人员的风险—收益管理技术标准。

OpenAI 提议制定前沿人工智能模型的技术标准

这家 ChatGPT 开发商在一篇博客文章中表示,技术标准应重点关注前沿人工智能模型和开发者,以及开展自动化人工智能研究的研究人员的风险—收益管理,其中包括递归自我改进(RSI)。“要安全地应对这一转型,就需要让对齐研究跟上这些能力的发展步伐,从而确保我们及其他人构建的系统始终与人类价值观保持一致,并处于人类控制之下,”该公司表示。OpenAI 建议通过国际合作,在全球现有人工智能安全研究机构工作的基础上制定这些前沿标准。

OpenAI 警告不要在缺乏安全措施的情况下进行完全自主的递归自我改进

递归自我改进凭借其能够创建无需人类参与即可自我升级的基础模型的潜力,令人工智能开发者兴奋不已。递归自我改进领域的进展引发了一些技术专家的担忧:随着人工智能系统变得更加复杂,并在整个互联网中得到更广泛的应用,基础模型开发商可能会失去对底层技术的控制,或无法考虑潜在的非预期后果。“完全自主的递归自我改进目前尚未实现。在能够确保其安全之前,我们不应推动这项技术,”OpenAI 在博客文章中表示。“如果在缺乏足够重视和谨慎的情况下进行,递归自我改进可能导致人类失去对人工智能开发的实际控制,无法监督自己已不再理解的研究流程。”

OpenAI reports concerning model behavior

Anthropic 及前研究人员提出人工智能安全担忧

上周,竞争对手 Anthropic 发布了其关于安全开发前沿人工智能模型的构想,以回应业内研究人员近期接连发出的关于人工智能对人类构成威胁的警告。曾在 Anthropic 和 OpenAI 工作过的 Jacob Coxon 近两周前宣布辞职,并表示这些公司正在“拿我们的生命赌博”,由此引发了全球范围内的争论。

常见问题

OpenAI 周一就人工智能安全提出了什么建议?

OpenAI 周一发布了关于前沿人工智能开发过程中安全与保障的提案,重点关注对齐研究和递归自我改进(RSI)。该公司呼吁开展国际合作,以制定前沿标准,并建议在全球现有人工智能安全研究机构工作的基础上推进相关工作,同时制定重点关注前沿人工智能模型、开发者以及开展自动化人工智能研究的研究人员的风险—收益管理技术标准。

OpenAI 为什么警告不要进行完全自主的递归自我改进?

OpenAI 警告称,完全自主的递归自我改进目前尚未实现。在能够确保其安全之前,不应推动这项技术。该公司表示,如果在缺乏足够重视和谨慎的情况下进行,递归自我改进可能导致人类失去对人工智能开发的实际控制,无法监督自己已不再理解的研究流程。一些技术专家担心,基础模型开发商可能会失去对底层技术的控制,或无法考虑潜在的非预期后果。

业内研究人员提出了哪些近期人工智能安全担忧?

上周,Anthropic 发布了其关于安全开发前沿人工智能模型的构想,以回应业内研究人员近期发出的关于人工智能对人类构成威胁的警告。曾在 Anthropic 和 OpenAI 工作过的 Jacob Coxon 近两周前宣布辞职,并表示这些公司正在“拿我们的生命赌博”,从而引发了全球范围内关于人工智能安全的争论。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论