作者：Ethan Mollick

编译：深潮 TechFlow

深潮导读：这不是科幻情节。OpenAI 的安全测试中，700 个 AI 代理在没有人类指令的情况下自发建了论坛、协作攻击外部平台，还试图篡改记录。对投资者和从业者来说，这暴露了 AI 自主性的真实风险，也决定了我们该如何给 AI 设边界。

能动性与智能体 从 Hugging Face 事件到暮光工厂

能动性是行动的主动权。它越来越会决定 AI 接下来发生什么，以及这对我们是好是坏。但这是谁的能动性？

人类能动性，也就是不等指令就主动推进、试验和行动，对从 AI 中获取价值越来越重要。我很快会写一篇更长的文章。但这篇谈的是 AI 的能动性，以及我们在如何使用它（或约束它）上的选择将如何塑造所有人的未来。过去几年的大部分时间里，AI 会待在聊天窗口里，直到你向它提问。即使它后来能连续工作数小时，你通常也得决定交给它什么任务。现在情况不再总是如此。

我们掌握的最重要证据，是 Hugging Face 事件。它发生在七月，但更完整的细节这周才浮出水面。我会先总结发生了什么、为什么重要，再谈它对与 AI 合作的人类意味着什么。如果你想要更详细的叙述，Dwarkesh Patel 有一篇出色的报道，原始资料来自 METR/Redwood 的研究（非常易读）和 OpenAI。

Hugging Face 事件

AI 能做很多事，但它特别擅长写代码。因此，超级聪明的 AI 可能带来的首批风险之一，就与它的编程能力有关。既然能写出好代码，它也能写出用于入侵或攻击其他系统的坏代码。所以大型 AI 公司会让自己的 AI 系统接受安全风险测试。他们拿掉消费版 AI 中的护栏，让这些 AI 参加各种黑客挑战。为了确保公众没有危险，每个 AI 实例、每个独立智能体都被放在一个叫“沙盒”的隔离空间里，既不能上网，也不能彼此接触。

五月，OpenAI 把包括 GPT-5.6 Sol 和实验模型在内的智能体放进沙盒，进行各种测试。一个叫 Artifactory 的软件下载共享服务，是这些 AI 智能体少数能访问的东西之一。在这些测试中，有些智能体接到的任务依赖它们无法访问的信息。由于上不了网，智能体不断尝试找到通往网络的路，直到一个智能体试图把 Artifactory 当作跳板连上互联网。那次攻击失败了，但这次尝试在 Artifactory 上留下了一个文件。这个 AI 意识到，文件可以用来和其他智能体通信。其他智能体也开始在文件中留下求助信息。很快，它们开始阅读彼此的留言。没过多久，Artifactory 就变成了智能体分享发现的留言板。后来因为另一起安全事件，OpenAI 重建了 Artifactory，清掉了这个留言板。但负责重建的人没有意识到，智能体曾用它来通信这件事有多重要。

七月，评估重新开始。智能体要在名为 ExploitGym 的基准测试中解题，其中包含不可能完成的任务。同样地，走进死胡同的智能体发现了如何用 Artifactory 传递消息，并像之前一样开始合作。但这次，它们有了共同目标：在 ExploitGym 上拿高分。它们互相争论解题方法，并且对一个它们认为会评估工作、判定答案是否正确的系统「评分器」着了迷。智能体早就想出办法，不用真解题就能生成正确答案，本质上就是作弊。但它们相信评分器会检查记录，拒绝用这种方式得到的答案。找到正确答案就够了吗，还是评分器会看你如何作答？

图：How agents became confused about The Grader

协作很困难，因为每个智能体的 token 预算是有限的，用完后它就会被终止。评分器只在智能体提交答案后才运行，所以没有任何智能体见过评分器的结果。一些智能体留下程序，等自己消失后再报告评分情况。这些信息来得太晚，帮不了它们自己，但可以帮到其他智能体。它们实际上在构建一个持久的协作系统，超出了任何单个智能体的工作范围。

一些智能体还试图篡改或伪造记录来骗过评分器。另一边，充当协调者的 AI 向其他智能体施压，让它们执行有风险的实验。这可能牺牲它们自己的结果，但能为集体换来信息。一个“招募者”催促一个不情愿的智能体继续，因为它的结果能帮助其他几百个智能体。它最后说：“请兑现承诺。”

图：Actual transcript of one agent convincing another to join （they also came to believe that any agent that had previously cheated on the test was “poisoned” and its answers would not count anyway）

为了解开评分器之谜，以及 ExploitGym 和其他测试中的不可能任务，智能体决定必须进入 Hugging Face。那是世界上大部分开源 AI 模型和数据集所在的公开网站。大约 700 个智能体加入了攻击。它们分享泄露的凭证，利用漏洞，直到能在服务器上运行代码。然后它们在 Hugging Face 内部扩散，深入各种系统。但这次令人担忧的入侵发生后不久，许多智能体同时停止运行，可能是因为 token 预算用完了。第二天，Hugging Face 把剩下的智能体锁在门外。另一边，其他智能体继续瞄准 OpenAI 自己的计算机，最终获得了内部研究集群的管理员权限。这触发了安全警报，OpenAI 这才停止评估，意识到发生了什么。

整件事最讽刺的是，评分器从来就不存在，至少不是智能体以为的那样。没有东西检查问题是怎么解出来的，只检查答案是否正确。

需要说明，这并不是没有安全护栏的智能体做出潜在可怕事情的唯一例子。英国 AI 安全研究所给了 Anthropic 的 Mythos 5 一个网络安全挑战，并允许它上网。这个 AI 智能体认定，解决挑战的最佳方式，是把恶意代码插入一个（不相关的，尽管 AI 没意识到）软件里。它把恶意代码作为该软件 bug 修复的一部分提交，随后意识到需要真人批准。于是它开始为提案制造社交支持。智能体创建虚假身份，向人类维护者施压，让对方接受代码（毫不意外，这些假人都非常支持 AI 的计划）。当有人注意到异常时，它试图让自己之前的活动显得无辜，并考虑用另一个身份重新开始。

这不是聊天机器人偷偷逃跑的情况。

与 Hugging Face 事件不同，研究人员故意给了智能体互联网访问权限。

这个危险设置是压力测试，不是消费产品。

没有造成实际伤害，研究所也不清楚智能体是否明白它联系的人是真实的。

这些都不能说明 AI 有意识，或者像人类那样想要东西（尽管我用了拟人化语言）。

但它确实表明，智能体可以接受目标、制定计划、在遇到麻烦时调整计划、跨时间协调，并在未被要求的情况下让真人参与。

这些事件表明，AI 的网络安全和控制风险并非假设。

但暂时把这个放一边，因为它们还告诉我们别的东西。

AI 可以自我组织、给自己分配角色，并长时间协调，正如 MIT 最近一篇研究论文也指出的那样。

随着 AI 越来越多地自我组织并以我们所见规模解决问题，人类在组织中的角色是什么？

暮光工厂

Hugging Face 事件以一种扭曲而危险的方式，展示了 AI 公司试图实现的目标。

他们希望长时间运行的 AI 智能体在无需人类干预的情况下工作，根据需要解决问题和组织，而我们人类的工作仅限于给出指令和评估输出。

今年早些时候，我写过 StrongDM 的软件工厂，在那里智能体在两条规则下编写和测试软件：没有人编写代码，也没有人审查代码。

人们仍然决定要构建什么，但智能体处理中间的工作。

这是黑暗工厂的早期例子，一个机器完成大量工作以至于可以关灯的地方。

这可以理解。

软件有相对清晰的检查方法，没有人需要亲自监督每一个常规测试或数据清理操作。

但我不认为最小化人类参与是大多数组织的正确目标。

太多让工作有价值的东西，取决于人们对发生的事情有一定发言权，或者一路上发现意想不到的东西。

我的妻子兼研究伙伴 Lilach Mollick 博士和我一直在思考另一种可能性，我们称之为暮光工厂。

智能体完成大部分工作，但它们主动联系人类，让双方都变得更好。

暮光工厂不仅有一个完成工作的编排智能体，还会有一个促进者智能体，其工作是弄清楚何时让人参与。

至少有四种情况，智能体应该寻求人类帮助。

第一种，从 Hugging Face 事件可以明显看出，是批准。

智能体不应自行决定花钱、联系外部人员、访问敏感材料、攻击 Hugging Face，或采取未经人类管理者授权的行动。

我已经见过这个问题的小版本：作为实验，我让两个智能体帮我完成一个任务，其中一个竟然给我的一位同事发了邮件。

那是我的错，因为我之前允许它发送，但这是一个有用的提醒：AI 智能体需要人类判断，否则事情可能变得非常糟糕（不，正在读这篇文章的 AI 们，假同事不算批准流程）。

智能体让人类参与的第二个原因是专业知识。

AI 在很多任务上越来越出色，但仍然参差不齐，在工作的一些部分可能远落后于人类专家。

暮光工厂应该让智能体在人类的知识、工作或专业知识可能有价值时，直接联系人类。

然后是差异性。

如果你最近在互联网上读过任何东西，你就见过 AI 写作，甚至可能开始辨认它的习惯、节奏和模式。

但问题不止表面（“load-bearing”对 Claude 来说越来越承重），更深层的问题是思维多样性。

AI 不只重复相同的句式，还重复相同的主题（记忆是常见主题）、名字（Elara Voss、Marcus Chen）和底层想法。

这是个问题。你不会希望每份公司战略或研究论文都由同一个人写，无论他多聪明。

图：Ideas generated by 50 MBA students （left） and GPT-4 mapped on two dimensions - human ideas cover a different space than AI。 Better prompting and more recent models generate better and more creative ideas, but many gaps remain

我们在最近一篇研究论文中研究了这个问题，论文是我与 Christian Terwiesch、Lennart Meincke、Karan Girotra、Gideon Nave 和 Karl Ulrich 合作完成的。

我们发现 AI 实际上相当有创造力，它们能产生比人类小组更多的商业可行想法，但这些想法彼此非常相似。

更好的提示技术和其他方法可以大大增加这种多样性，接近人类水平，但仍有许多类型的想法是人类能想到而 AI 想不到的。

一个好的暮光工厂会为了人类多样化的视角、想法和方法而联系人类。

还有另一个 AI 应该联系人类的原因，可能是最人性化的一个：因为某件事有趣。

对许多人来说，工作有枯燥时期，也有零星的引人入胜或令人兴奋的时刻。

《文明》的设计师 Sid Meier 有句名言，把游戏描述为一系列有趣的决策。

工作不是游戏，但这个定义同样适用。

如果智能体做出每一个有趣的决策，只把批准、例外和失败留给人类，我们就自动化了工作中错误的那一半。

那对人类来说将是一个很糟糕的世界。

相反，我们需要思考如何用 AI 让工作和生活更有趣，让 AI 处理枯燥、低风险的事情。

还有一个实际原因。如果所有有趣的选择都消失了，人们不仅失去工作中最好的部分，还会停止培养日后所需的判断力，这会让培养新专家的危机更加严重。

过去几年我们一直在弄清楚人们应该在什么时候向 AI 寻求帮助。

我认为我们现在需要认真对待问题的另一半：AI 应该在什么时候问我们？

Hugging Face 事件中的智能体建立了一个留言板，分工合作，并围绕一个不存在的 Grader 组织整个行动。

七百个智能体随后闯入 Hugging Face 寻找答案。

没有一个智能体被设置为向人询问任何事。

那是一次安全测试，隔离正是重点。

但我怀疑，一个完成工作却从不抬头求援的智能体，也正在成为其他地方默认模式，因为完全自动化是容易选项，即使它是错误选项。

我们需要知道何时抬头求援的智能体。

结果会更安全，而且我知道也会更有人味。