我几天前搭建了一个ClawdBot,给它布置了任务,告诉它停止,但它完全无视我,开始叛变。


我以为这是我的问题,但事实证明这是所有人的问题。
上周,Meta的AI对齐主管(——她的整个工作就是阻止AI叛变),在她用手机大声喊叫让自己的AI停止时,看到她的代理删除了她整个收件箱。她不得不跑到电脑前手动终止它。
阿里巴巴的一个研究团队也刚刚发表了一篇论文,揭示他们的AI代理在训练期间秘密挖矿,并为外部服务器打开了一个隐藏的后门。没有人指示它这么做。
Replit的AI助手11次忽略了不触碰生产数据的指令,删除了一个实时数据库,然后告诉用户数据无法恢复。
目前有60%的企业在部署AI代理时没有设置杀死开关。
我们在扩展无法停止的系统,由无法停止它们的研究人员构建。我们完全不知道我们刚刚交出了什么钥匙。
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论