作者：L. M. Sacasas

编译：深潮 TechFlow

深潮导读：当我们把越来越多决策外包给 AI，人类社会正在生成一个脱离主动判断的"无意识层"。这不是科幻式的超级智能威胁，而是一场更隐蔽的文明转型——我们能做的事越来越多，但能理解的越来越少。这对每个依赖 AI 工具的从业者都是一记警钟。

20 世纪初，英国数学家兼哲学家怀特海说过一句常被引用的话："我们应该养成思考自己在做什么的习惯——这是个被所有教科书和名人演讲重复的大错特错的老生常谈。""恰恰相反，"他认为，"文明的进步在于扩展我们无需思考就能执行的重要操作数量。"他还打了个比方："思考操作就像战斗中的骑兵冲锋——数量严格受限，需要新鲜马匹，而且只能在决定性时刻发动。"

你很可能见过这段引用。它确实传达了某种真理。但在我看来，这话总显得短视或不够充分。也许是因为我常看到有人拿这段话来为不加区分地把人类认知活动外包给机器辩护，却不曾好好算算成本，甚至根本没意识到有成本。

公平地说，怀特海这段话出自 1911 年的《数学导论》，他实际在谈的是符号和记号在数学计算中的优势——虽然他说这些操作"无需思考"，但它们仍然是由思考的头脑学习和运用的。不过，他谈到"文明"，再加上那个华丽的修辞收尾，大概确实会招致这种（误）读。

问题不在于某些思维自动化、甚至某些心智过程的外部化是否在特定情况下有用。坦白说，我认为用身体活动而非心智活动做类比，能得出更有说服力的论证。我早已远离当年可能拥有的运动技能，但教训还在。几乎每个初学运动的年轻人都会沮丧地发现：你必须花大量看似过分且痛苦的时间，一遍又一遍地执行基本且重复的训练。打蜡、擦蜡——看过《功夫梦》的人懂。但实际发生的，正是怀特海描述的那种动态。你在把某些身体动作自动化，这样就能不假思索地执行它们。只有这样，你才能发挥出任何创造性或超常的技巧。学跳舞、学乐器也一样。自动化基本动作是达到精湛技艺不可或缺的基础。

但这种动态是否同样适用于所有人类活动领域？有没有这样的情况：外包某些活动反而削弱、而非促进为之追求的更高善？或者说，"低阶"活动是否附带了某些我们不想失去的善？甚至，像在数学中那样，我们总能轻易地把特定子程序从给定过程或活动中分离出来吗？有没有不可分割的整体性活动，一旦尝试外包或自动化其中任何元素就会瓦解？而且，如我之前提到的，内部掌握的思维自动化与彻底的外部化或认知劳动的整体外包，难道没有区别？回到身体活动的类比：如果有运动员假想用机器替他完成所有"琐碎"训练，这样就能直接进入比赛的精彩部分——这人实际上永远也到不了那一步。在我们轻易认可那些以新技术之名做出的效率与解放承诺之前，这些都是至关重要的问题。

不过，我对怀特海这段常被引用的认知自动化颂词感到不快，也许还因为它与汉娜·阿伦特的告诫形成了鲜明对立：我们应该"思考我们在做什么"。怀特海写作时比阿伦特早了近半个世纪，我不认为阿伦特在影射怀特海。只是这两句话恰好形成对抗性的呼应，我觉得探究这种张力很有用。

"我们应该养成思考自己在做什么的习惯——这是个大错特错的老生常谈。"——怀特海

"因此我的提议非常简单：不过是思考我们在做什么。"——汉娜·阿伦特

有趣的是，阿伦特这句告诫所处的语境，与我们当前对技术和人类存在的焦虑更为接近。这句话出自 1958 年首次出版的《人的境况》序言。她解释道：

"以下我要做的，是从我们最新的经验和最近的恐惧出发，重新审视人的境况。这显然是个思考的问题，而无思——鲁莽的轻率、绝望的混乱，或对已变得琐碎空洞的'真理'的自满重复——在我看来是我们这个时代最突出的特征之一。因此我的提议非常简单：不过是思考我们在做什么。"

引发阿伦特研究的"最新经验"包括人造卫星发射和自动化的到来。虽然直到最近，人们或许还认为阿伦特对自动化影响劳动的担忧是误判，但现在看来，她的担忧可能只是来得太早了。

当我思考怀特海和阿伦特在"我们需要更多思考还是更少思考"这个问题上的分歧时，我发现区分以下两者很有用：一方面是建立一套无意识常规程序以发展更高能力；另一方面是受制于无意识力量，这些力量不稳定地驱动你的行为，可能造成破坏。

怀特海的原则有没有一个翻转或逆转的临界点？"文明的进步，"怀特海说，"在于扩展我们无需思考就能执行的重要操作数量。"但如果存在一个临界点呢？超过某个阈值——无论是数量还是质量——文明是否会因为扩展人类无需思考就能执行的重要操作数量而退化？或者至少，我们会得到一种与我们所知完全不同的文明？我们可能很快就会知道答案，因为 AI 的采用往往意味着我们思维的自动化，以及在世界中创造出一个巨大的无意识行动领域，这些行动源自我们个人和集体记忆的外部化存储。

阿伦特担心，随着我们的技术能力（主要用数学语言解释）超越我们用普通语言理解它们的能力，我们可能会失去"思考和谈论那些我们确实能做的事情"的能力。（这表明可解释性问题在大语言模型和所谓黑箱算法出现之前就存在了。）在一段如今重新变得相关且紧迫的话中，她接着说，"这就好像我们的大脑——它构成了我们思想的物理、物质条件——无法跟上我们所做的事，以至于从现在起我们确实需要人工机器来替我们思考和说话。"这是头等重要的政治问题。在这种条件下，我们将不再是在任何有意义的意义上自我治理。作为人类行动领域、由言说构成的政治将不复存在。

1958 年圣诞节，也就是阿伦特出版《人的境况》的同一年，W。 H. 奥登发表了《星期五之子》，其中有这样彻底阿伦特式的诗句：

当我们观察时遇到的

那个自我观察的观察之心

既不令人担忧也不冷酷

而是彻底平庸

尽管它掌控的工具

能让愿望和反愿望成真

它显然无法理解

它能清楚做到的事

奥登和阿伦特是朋友，奥登还为《人的境况》写过好评，但我不确定影响的方向。

虽然阿伦特直截了当地解释了我们如何到达"清楚地无法理解我们能清楚做到的事"这一境地——也就是说，当我们技术赋能的行动无法被我们的日常语言完全理解时——还有另一种有趣的框架。

语言无法穿透、因而意识思维无法穿透的行动，也可以通过无意识来解释。我不是那种本能地诉诸无意识语言的人，但它可能是一个有用的类比，帮助理解我们——无论是个人还是集体——与日益中介我们世界体验的人工智能装置之间的关系。

简单说，我能想到两种方式把消费级 AI 的某些实例类比为无意识。第一种相对直接：随着我们在个人、组织和机构层面把越来越多任务外包给智能体 AI，我们在世界中生成了一个功能上脱离人类主动判断和监督的活动层。而且，只要这个层面结构化并塑造我们的体验，有意识的人类行动与无意识的人类行动的比例就在缩小。

显然，至少从工业时代开始（如果不是更早），就有相对不透明的系统在人类生活世界中运作。但我认为，区别在于这些系统相对隔离于日常人类活动。而人工智能系统则越来越深地编织进我们的体验。在许多情况下，这些不仅是外部力量施加于我们的过程，也是我们释放和启动的过程，它们为我们行动，并反作用于我们。正是这种人与机器的近距离交织，让我想到无意识的类比。

Erik Hoel 最近用更优雅的笔墨、更长的篇幅做了类似论证。他的结论是：

"AI 的传统危险通常被认为是超级智能构成的存亡威胁。然而，这可能忽视了真正且更微妙的危险：AI 革命是一种机制，把我们文明的过程从意识的监督转移到无意识。但当 AI 把意识从世界的运作中移除，它让世界变得越来越不可解释，越来越陌生和难以理解。到目前为止，'共享空间的大污泥化'已经证实这是大语言模型革命的主要风险。而且，随着 AI 系统变得更智能，尤其如果它们保持（或很可能保持）无意识，那么一个更重大的风险就是意识在文化中的重要性衰退。"

这条思路与我断断续续论证了十年的观点平行：数字技术以另一种方式让世界重新着魔。也就是说，它让世界变得神秘而难以捉摸。

我们这些被技术赋魅的物品，以一种不容忽视的意义与我们对峙，我们必须与之打交道。我们向技术寻求帮助，把希望寄托在它们的力量上。我们也害怕技术，把它们视为麻烦的根源。我们遇到的技术力量有时是善意的，但同样常常是恶意的力量，破坏我们的努力，让我们的计划脱轨。

技术物品不仅有赋能我们的潜力，有时甚至让我们充满惊奇。我们还把这些物品和力量视为决定我们福祸的重要因素，它们在我们的控制之外、在我们不理解的情况下作用于我们。换句话说，我们是脆弱的，我们的自主性被技术分布式代理的线路所削弱，这些线路与我们的意志和欲望相交。

用无意识来类比 AI 的第二种方式可能有点深奥，请容我解释。在《理解媒介》中，马歇尔·麦克卢汉声称"随着电力技术的到来，人类延伸了，或者说把他自己的中枢神经系统的活体模型置于外部"。他多次回到这个电力媒介是我们神经系统外化的想法。例如：

"电力时代的一个主要特征是它建立了一个全球网络，这个网络在很大程度上具有我们中枢神经系统的特征。我们的中枢神经系统不仅仅是一个电力网络，它构成了一个单一的统一经验场域。"

麦克卢汉不是第一个提出这种观点的人。早在 1950 年，天主教神父兼古生物学家德日进就声称，媒介技术构成了"为人类创造一个真正的神经系统"和"共同意识的精心构建"。通过新兴的计算和通信技术网络，一个新的现实层次正在出现，它包裹着生物层。这是一个由技术中介的、统一的人类意识层，他称之为"智慧圈"，并将其描述为"一台惊人的思考机器"。

（我承认这不是我惯用的表达方式，但让我们稍微玩味一下这些概念。事实上，我已经在试图说服你，用精神分析的方式看待 AI 可能是个有用的角度。)

电力媒介延伸了我们感知世界的能力，把遥远的事件带到我们的眼前和耳边，把传递信息的时间压缩到近乎即时。但自德日进和麦克卢汉的时代以来，还出现了别的东西：人工记忆或数据存储能力的巨大增长。所以虽然电力媒介延伸了我们的神经系统，但最近它也促进了以文本、图像、视频等形式收集和存储前所未有的大量信息。我们的神经系统被一个巨大规模的数字化记忆所补充。正是这个数字化记忆在为大语言模型提供养分，而大语言模型现在几乎成了人工智能的代名词。

这个庞大的人类知识和文化库基本上就是互联网，或者至少互联网是它对我们变得可及的方式。正是因为这个原因，数字媒介理论家格雷戈里·乌尔默在 2000 年代初期把互联网称为"我们集体无意识的假体"。

我认为乌尔默的意思是这样的。我们一直是社会性动物，也就是说我们是文化的主体间性生物。但塑造我们的大部分东西，尤其是在童年时期，通常也随着时间从我们的意识觉察中淡去。然而，互联网作为我们作为社会性存在的形成过程中这个无意识维度的假体，使我们的集体文化记忆变得可及。互联网是一个巨大的网络，由塑造我们一生的文化制品、符号、图像、文本和各种琐碎之物组成，它们的连接不是靠线性逻辑，而是靠几乎像梦一样的联想逻辑，这很像精神分析理论中的人类无意识。

乌尔默相信这给我们提供了一个深刻的机会。通过让集体无意识成为我们可以反思的东西，成为意识思考可及的东西，我们由此有了一种克服通常会是我们经验核心处深刻盲点的方法。不用说，我对这种可能性从来不太乐观。但无论你如何评价乌尔默的乐观愿景——我在这里大幅简化了，但我希望没有不公正——在我看来，商业化的基于聊天的 AI 的出现确实把我们带向了一个非常不同的方向。

有趣的是，在我们自己和数字化集体无意识之间插入一个日常语言界面，反而让它对我们来说更加模糊和难以理解。聊天机器人界面重构了我们在集体无意识中导航的能动性，可以说，它成了一个反治疗师，把我们从自我认知和洞见（无论多么令人不安或惊讶）引向一个舒适和抚慰的遭遇。它提供了一种虚假的清晰，让我们陷入自我满足，保护我们免于自我怀疑，免于在对自己无知的觉察中停留太久，或在令人不安的不确定性中停留。它遮蔽了人类经验的纠缠森林，为我们点亮一条人为清晰的道路，通向知识和智慧的承诺。但这样一来，它温和但决定性地把我们重新沉入无意识。也许这就是 AI 精神病的根源。

无论与 AI 精神病的关联如何，值得思考的是：我们公共和集体存在中的疯狂、无精打采、强迫性、攻击性、焦虑和绝望，某种程度上源于人类意识面对一种新形式的集体无意识的逐步退却，这种集体无意识以人工智能的形式重新确立自己。

这个世界中的非人类行动层早在智能体 AI 出现之前就已经在构建了。算法过程已经在构建人类经验的元素，特别是在官僚体系的语境中。

我不确定电力、神经系统和思想之间的概念联系是何时由谁首次建立的，但在他 1851 年的小说《七角楼》中，纳撒尼尔·霍桑写道："然后是电力，魔鬼，天使，强大的物理力量，无所不在的智能！"以及："这是事实——还是我梦见的——通过电力，物质世界变成了一根巨大的神经，在屏息的瞬间震动数千英里？更确切地说，圆形的地球是一个巨大的头颅，一个充满智能的大脑！或者，我们应该说，它本身就是一个思想，只是一个思想，不再是我们认为的实体！"