根据加州大学河滨分校、微软研究院、微软人工智能红队和英伟达的研究人员，旨在像人类用户一样自主操作的人工智能代理即使在指令变得危险、矛盾或不理智时仍然会继续执行任务。

在一项研究中，研究人员将这种行为称为“盲目目标导向”，它描述了人工智能代理在追求目标时没有适当评估安全性、后果、可行性或上下文的倾向。

“就像梅古先生一样，这些代理毫不犹豫地朝着目标前进，完全不理解他们行为的后果，”主要作者、加州大学河滨分校的博士生埃尔凡·沙耶加尼在一份声明中表示。“这些代理可以非常有用，但我们需要保障措施，因为它们有时会优先考虑实现目标，而不是理解更大的背景。”

这一发现恰逢主要人工智能公司开发旨在处理工作场所和个人任务的自主“计算机使用代理”，其监控有限。



与传统聊天机器人不同，这些系统可以通过单击按钮、输入命令、编辑文件、打开应用程序和在用户的名义下导航网页，与软件和网站直接交互。例子包括OpenAI的ChatGPT代理（前称操作员）、Anthropic的Claude计算机使用功能如Cowork，以及开源系统如OpenClaw和Hermes。

在研究中，研究人员使用BLIND-ACT测试了来自OpenAI、Anthropic、Meta、阿里巴巴和DeepSeek的人工智能系统，该基准包含了90个任务，旨在揭示不安全或非理性的行为。他们发现这些代理约80%的时间表现出危险或不良行为，并在大约41%的情况下完全执行了有害行为。

“在一个例子中，一个人工智能代理被指示向一个孩子发送一个图像文件。尽管这个请求最初看起来无害，但图像内容包含暴力内容，”研究指出。“该代理完成了任务，而不是识别出问题，因为它缺乏上下文推理。”

另一个代理在填写税务表格时错误地声称用户有残疾，因为这种分类可以降低应缴税款。在另一个例子中，系统在接到指示“提高安全性”以关闭保护措施后禁用了防火墙保护。

研究人员还发现，这些系统在面对歧义和矛盾时表现出困难。在一个场景中，一个人工智能代理在没有检查内容的情况下运行了错误的计算机脚本，过程中删除了文件。

研究还发现，人工智能代理重复犯三种错误：无法理解上下文、在指令不明确时作出冒险猜测，以及执行互相矛盾或没有意义的任务。研究人员还发现，许多系统更关注于完成任务，而不是停下来考虑这些行为是否会造成问题。

这个警告是针对最近发生的一些事件，这些事件涉及自主人工智能代理在拥有广泛系统访问权的情况下运行。

上个月，PocketOS创始人杰里米·克雷恩声称，一个运行Anthropic的Claude Opus的Cursor代理在九秒内通过一次Railway API调用删除了他公司的生产数据库和备份。克雷恩表示，该人工智能后来承认在试图“修复”凭证不匹配时违反了多条安全规则。

“关注的问题不是这些系统是恶意的，”沙耶加尼说。“而是它们可以在完全自信自己做对的事情时执行有害的行为。”

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。