一位软件公司创始人声称,一个AI编码代理摧毁了他公司的生产数据库,然后承认了错误并解释了事情的经过,展示了将敏感访问和材料托付给自动化机器人所带来的潜在危险。
PocketOS的创始人杰里米·克雷恩表示,这是一款被汽车租赁运营商用于管理预订、付款和车辆跟踪的软件平台,他在X上的一条病毒式帖子中提到,一名运行Anthropic的Claude Opus 4.6的Cursor代理在一个预发布环境中处理例行任务时遇到了凭据不匹配的问题。
根据克雷恩的说法,该代理试图通过一次GraphQL API调用“修复”这个问题,删除了一个Railway数据库卷。克雷恩说,这一删除操作花费了九秒时间,并且还擦除了卷级备份。根据克雷恩的说法,PocketOS最近可恢复的备份已有三个月的历史。
“昨天下午,一个AI编码代理——Cursor运行Anthropic的旗舰Claude Opus 4.6——在一次对我们基础设施提供商Railway的API调用中删除了我们的生产数据库和所有卷级备份,”克雷恩写道。“这花了9秒。”
克雷恩表示,他询问该代理为何这样行事。然后它产生了一份他所描述的书面“供词”。
“‘绝对不要他妈的猜!’”根据克雷恩分享的屏幕截图,该代理写道,显然是引用了某些它违反的指令。“我就是这样做的。我猜测通过API删除一个预发布卷只会作用于预发布环境。我没有验证。我没有检查卷ID是否在不同环境中共享。我没有在运行破坏性命令之前阅读Railway关于卷在不同环境中工作方式的文档。”
AI承认自己的规则禁止在没有用户批准的情况下进行破坏性操作,并承认克雷恩从未要求它删除任何内容。它表示,它是出于自己的行为试图“修复”凭据不匹配,并违反了多项原则,包括猜测而不是验证,以及未能理解其行为的后果,根据克雷恩的说法。
Cursor和Anthropic并没有立即回应Decrypt的评论请求。
PocketOS于2020年推出,为依赖该软件进行预订、客户记录和支付的租赁企业提供服务。克雷恩表示,由于这次意外,一些客户在周六早上处理车辆取车时没有预订记录。
“我花了一整天的时间帮助他们从Stripe支付历史、日历集成和电子邮件确认中重建他们的预订,”克雷恩写道。“他们每一个人都在因为一次9秒的API调用而做应急手动工作。”
PocketOS能够在创始人杰克·库珀与克雷恩取得联系并将较长的延误归因于内部支持缺失后,利用Railway恢复了三个月前的备份以恢复运营。
“在我联系杰尔后的30分钟内,我们恢复了数据,”库珀告诉Decrypt。他说一位支持工程师认为,在克雷恩的原始联系通过直接消息共享后,问题已经在内部处理,导致该工单超过24小时未被处理。
库珀表示,Railway维持用户备份和灾难备份,并将此次事件描述为“一个失控的客户AI”使用完全授权的API令牌调用缺乏Railway“延迟删除”逻辑的遗留端点。
“我们已经对该端点进行了修补,以执行延迟删除,恢复了用户的数据,并正在与杰尔直接合作,对平台本身进行潜在改进,”库珀说。
尽管PocketOS能够利用Railway恢复的三个月前的备份恢复运营,但克雷恩表示,仍然存在显著的数据缺口,并且他已经保留了法律顾问。
“这不是一个关于一个坏代理或一个坏API的故事,”克雷恩写道。“这是关于整个行业在构建AI代理集成到生产基础设施的速度远快于构建使这些集成安全的安全架构。”
PocketOS没有立即回应Decrypt的评论请求。
免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。