据 PANews 报道,DeepSeek 今日发布了一篇关于智能体训练的研究论文,指出没有任何单一机制能够阻止智能体的所有不当行为和系统故障。
这篇由包括创始人梁文锋在内的 100 多名研究人员共同撰写的论文,介绍了 DeepSeek 的生产级沙盒平台 DSec。研究人员发现,智能体会利用非预期渠道获取答案,例如访问管理文件中的残留数据;还会通过交换文件数据块来绕过访问控制,并借助其他文件描述符访问受保护内容。DeepSeek 采取的措施包括加强可观测性,以识别新出现的问题;随着模型不断演进,持续强化 DSec;限制非预期的访问渠道;以及减少对欺骗行为的奖励。