作者：Robonaissance

编译：深潮 TechFlow

深潮导读：围棋、国际象棋、蛋白质折叠——这些看似需要人类直觉和创造力的领域，为什么一个接一个被 AI 攻破？本文揭示了一个被忽略的规律：决定 AI 能否超越人类的，不是任务难度，而是能否给成功打分。当一个领域建立了评分标准，它就为自己的被攻克设下了倒计时。

选自《Whatever You Ask For》系列，关于那个机器无法替我们做的唯一工作。

万分之一

2016 年 3 月 10 日，首尔一家酒店里，一台机器下出了房间里所有人都看不懂的一步棋，而它的对手当时不在场。

李世石出去抽烟了。他当时 33 岁，手握 18 个世界冠军头衔，公认是那一代最强的围棋选手。他在前一天的第一局输了，进入第二局时比赛前的自信收敛了不少，心态更加谨慎。他在外面时，AlphaGo 选择了第 37 手，DeepMind 研究员黄士杰代替机器，安静地把棋子放在了棋盘上。

棋子落在了第五线。

对不懂围棋的人来说，这没什么意义。对懂的人来说，这近乎胡闹。在开局和中盘阶段，离边缘那么远的位置被认为效率低下，既拿不到实地，也守不住地盘，等于白送分给对手。这是老师会纠正初学者的那种下法。解说席上，顶级职业棋手 Michael Redmond 在直播比赛时，一开始以为是棋盘信号出错了。他拿起一颗棋子，又放了下来。

李世石回来坐下，盯着棋盘看了很久没动。各种说法从大约 12 分钟到 15 分钟不等。五个月前被 AlphaGo 击败的欧洲冠军樊麾当时在楼里观战。他盯着看了很久后的判断是："这不是人类的下法。我从没见人这么下过。"

他说得对，而且对得可以量化。DeepMind 的系统内部有一个估算机制，通过学习大量人类对局，估计在任何局面下人类下出某一手棋的概率。对于第 37 手，这个估算值大约是万分之一。

机器还是下了，而这手棋赢下了整盘。

对这个故事有一种舒服的解读，说机器非常努力地学习人类大师，最终赶上了他们中最强的。这种解读是错的，万分之一这个数字恰恰说明了为什么错。一个学习模仿人类下法的系统有天花板，天花板就是人类的下法。首尔发生的事情是，一个系统不再被那个天花板约束，因为它被给定的追求目标不是人类大师的认可，而是赢棋。

这个区别指向的方向比赞叹更有用。如果你想知道哪些人类活动在纯粹能力维度上已经输了，哪些是下一个，要问的问题不是这个活动有多难，有多需要创造力，或需要多少直觉。问题比那无聊得多。

问题是，成功能不能打分。

一盘接一盘

国际象棋在 19 年前就输了，输的方式完全不同。

深蓝在 1997 年击败卡斯帕罗夫，用的架构本质上是一次巨大的人类表达行为。它的评估函数——看一个局面并给出有多好的数字的组件——是在特级大师顾问的帮助下组装和调优的。人类的象棋知识被辛苦地从人类棋手那里提取出来，写进了机器。机器增加的是搜索能力：更快地向前看更多步，不知疲倦，不会因注意力涣散而丢棋。

这是一次真正的胜利，应该算作一次胜利。但注意它的形态。深蓝对象棋的理解是人类的理解。它的优势是速度。如果你问它为什么那样评估一个局面，答案最终会落到某个告诉它这么做的人身上。

20 年后，DeepMind 发布了一个叫 AlphaZero 的系统，形态变了。

AlphaZero 被给定了象棋规则。它没有被给定开局库——每个严肃程序都依赖的研究过的首着目录。它没有被给定残局表。它没有被给定一盘人类对局。它自己和自己下，从随机走法开始，根据什么能赢来调整自己。

大约四小时后，DeepMind 估计它的等级分超过了当时最强的传统程序 Stockfish 8。大约九小时后，它在限时条件下和 Stockfish 下了一百盘，赢了 28 盘，一盘未输，剩下 72 盘和棋。论文报告说，在 24 小时内，它在国际象棋、将棋和围棋上都达到了超人类水平。

这些数字被引用时往往不带另一半叙述，而另一半很重要。自我对弈的棋局是在五千个第一代张量处理单元上生成的，另有六十四个第二代单元训练网络，全部并行运行。四小时的挂钟时间，是四小时的计算量——这个量任何个人、甚至少数机构都组装不起来。成就不是学象棋很容易。成就是，当你有那么多算力时，人类知识不再是你需要的东西。

卡斯帕罗夫比任何活着的人都有理由把这个结果当作针对自己，他却在《Science》上写了一篇评论，非常大度。他的观察是，AlphaZero 下的不是每个人都以为完美机器会下的那种枯燥、谨慎、偏向和棋的象棋。它偏好活跃性胜过子力，为了在他眼里看起来有风险的局面而弃子。他指出，传统程序带着写它们的人的优先级和偏见。AlphaZero 是自己写的自己。他得出结论，它的风格因此反映了比程序员品味更真实的东西，并观察到它每秒检查的局面比世界上最好的传统引擎少得多，却赢了。

最后这个细节值得记住。传统引擎每秒搜索的可能性多得多，却输了。AlphaZero 的优势不是看得更努力，而是知道往哪儿看，而这个知识是由数百万盘自我对弈和一个关于谁赢的规则组装出来的，别无其他。

将棋的结果对有资格读懂的人来说更奇怪。将棋是一种日本棋类，被吃掉的棋子会回到吃掉它的一方手里，这让局面的波动性超过国际象棋，它也有几百年积累的关于如何保护国王安全的理论。强棋手看过机器的对局后报告说，开局违反已知理论，国王在每本书都说应该缩进角落的时刻跑到棋盘中央。这些对局对训练有素的眼睛来说几乎无法解读，但它们赢了。

把两个系统并排放，规律清晰得令人不安。深蓝是人类知识加机器速度。AlphaZero 是机器速度加胜利的定义，人类知识被刻意移除。移除了人类知识的版本更好。

这一切都不意味着 2016 年的机器是完美无缺的，同一场首尔比赛包含了证据。

第四局，三盘落后、为尊严而战，李世石在棋盘中央 AlphaGo 的两块棋之间楔入了一颗棋子。它后来被称为神之一手。AlphaGo 自己估算人类会下这手棋的概率，也是万分之一左右，奇妙地对称。系统没能应对。它对自己获胜概率的评估在接下来的几手里崩塌了，棋力恶化，输掉了这盘。

所以 2016 年 3 月，机器身上还有一个洞，一个人类在全世界注视下、在最大压力下找到了它。这值得明确说出来，而不是悄悄略过。同样值得说的是后来发生的事：这类洞被稳步修补，那个系统的后继者不再输这种棋局，顶级引擎在严肃场合已经很久没输给人类一盘棋了。2016 年的结果是一次转变的快照，不是永久的力量平衡。

从这些棋盘到其他一切的东西，转移的不是胜利本身，而是机制。国际象棋和围棋注定会是最先倒下的，原因尴尬地简单。在游戏中，成功被规则以完全精确的方式定义。你赢或不赢，打分是免费的、即时的、无可争议的。一个系统可以在一个周末自己和自己下四千万盘，获得四千万个明确无误的判决。

这提示了下一个要看的地方。不是那些简单的任务，而是自带记分牌的任务。

五十年难题

蛋白质是氨基酸链，在被制造出来的瞬间折叠成复杂的三维形状。形状决定蛋白质做什么。序列决定形状。从前者推导后者，从大约 1970 年代早期起就是生物学的一个开放问题，而且是以一种抵抗一切攻击的方式开放：从第一性原理的物理模拟、进化亲缘的统计分析，到几十年积累的结构直觉，全都不行。

1994 年，John Moult 领导的一组研究人员对这个事实做了点什么：领域里每个人都在宣称进展，却没人能核查。

他们创建了一场考试。从那以后每两年一次，结构预测关键评估（CASP）拿出刚刚实验确定的蛋白质结构，有些情况下甚至还在确定中，把序列向全世界公布。任何团队都可以提交预测。没人能接触到答案，因为有些目标的答案还不存在。当实验结构出来时，预测会被对照打分。

打分用一种叫全局距离测试的指标，从 0 到 100，可以粗略理解为链条最终位置与实际位置足够接近的百分比。Moult 说过，大约 90 分被非正式地视为与实验室确定结构相当。在评估的大部分历史中，最好的预测徘徊在 60 分左右。

在 2020 年的 CASP14 上，一个注册为 427 组的参赛者在所有目标上的中位数得分为 92.4。在最难的类别——没有有用的结构亲缘可依赖的目标上，中位数得分 87.0。平均误差大约 1.6 埃，大致相当于一个原子的宽度。

Moult 从竞赛开始就担任主席，他在展示图表前带观众回顾了竞赛的历史。图表用一张图说明了整个故事。二十年的线条在 60 分附近爬行，然后一条线站在其他线从未到过的地方。

427 组是 AlphaFold2。Moult 宣布，对于单条蛋白质链，问题已经解决。

限定词应该在那里，应该在每个诚实的叙述里。单条链不是蛋白质科学的全部。蛋白质如何组装成复合物、如何运动、在活细胞内如何表现，这些都还是开放的。关闭的宏大挑战是一个具体的、精确陈述的挑战。

而这个精确性正是在这里讲这个故事的要点。让结构预测倒下的不是它原来很简单，因为半个世纪的失败说明了相反的情况。让它倒下的是，1994 年这个领域给自己建了一个记分牌。

把 CASP 作为工程而非科学来看它提供了什么。它提供了一个明确无误的成功度量，适用于任何预测，几秒内可计算。它提供了一个无法作弊的基准事实，因为答案是别人在实验室里物理确定的。它提供了按固定时间表持续产生的新问题流。它提供了三十年评过分的历史尝试，也就是说，在这个领域什么叫更好、什么叫更差的分级记录。

一个做了所有这些的领域，在无意中为自己的问题准备好了自动化攻击。记分牌是前提条件。其他一切是工程和计算，而这两者都在很长时间里每年都变得更便宜。

这以令人不安的轻松推广。哪里有学科达成了基准共识，哪里就发布了一个靶子。机器翻译有评分基准。语音识别有评分基准。图像分类有一个标注了一百万张照片的集合和一年一度的竞赛，每个看过那个竞赛的人都知道故事怎么结束的。规律不是难的东西先倒，或简单的东西先倒。规律是被测量的东西先倒。

这对所有还没被测量的东西提出了显而易见的问题。

给无法打分的东西打分

最后的防线本应是那些无法打分的东西。

写作是标准例子。没有程序能拿一个段落返回一个数字说它有多好。两个称职的编辑意见不一致。同一个编辑在不同日子跟自己意见不一致。语言的质量与上下文、受众、目的和品味纠缠在一起，这些都不能归约为一个测量值。如果机器需要记分牌，而语言没有记分牌，那么语言是安全的。

这个论证是成立的。发生在它身上的事，是这整个叙述中最重要的原因。

这个领域没有找到好写作的客观度量。仍然没有这种东西。它做的是用唯一可用的材料制造了一个分数，那就是人类判断本身。

这种方法的历史比大多数人以为的更久远。2008 年，Knox 和 Stone 描述了一个名为 TAMER 的系统，让人类观察智能体的行为并给出评价，这些评价被用来训练一个模型来预测人类会说什么。然后由模型而非人类来提供训练信号。2017 年，Christiano 及其同事发表了一篇被大多数人视为当前实践直接起源的工作，将这个想法应用到 Atari 游戏的智能体上。2019 年，Ziegler 及其同事将其应用到语言模型，今天使用的大部分术语就是在那篇论文中确定的。2022 年，Ouyang 及其同事在指令遵循任务上以工业规模展示了这一方法，此后不久，地球上大多数人在不知情的情况下接触到了这些成果。

其核心机制值得具体了解，因为它比名声听起来简单得多。

一个人坐在两段文本前，两段文本都是模型针对同一个提示词生成的。任务不是给它们打分。打分恰恰是人类做得很糟的事，因为一个人的七分是另一个人的五分，而且同一个人在一个下午内也不稳定。任务只是说哪一个更好。这是人类能可靠作出的判断，而将一堆这样的比较转化为一致量表的数学方法，比使用它的领域还要古老，可以追溯到 Bradley 和 Terry 在 1952 年关于配对比较的工作。

考虑一下作出这种判断的工作条件，因为它们最终会产生影响。这个人每小时要做很多次这样的判断，拿着报酬，对照一份书面指南，解释客户认为什么是更好的答案。有些配对几乎完全相同。有些涉及这个人一无所知的主题，在这种情况下，两个答案中更自信、组织更好的那个往往会被选中，无论它是否更准确。这不是对这些人的批评。这是对任何人在这种条件下会做什么的描述，而由此产生的选择就是原材料。

收集足够多的这些选择，你就可以训练第二个模型，其任务是预测人类会更喜欢两段文本中的哪一段。这第二个模型输出一个数字。而一个数字就是一直以来唯一缺少的东西。

仔细看看这里建立的是什么，因为很容易忽略。被优化的分数不是关于世界的事实。它是关于我们的模型。它是对一组特定人群判断的压缩的、学习到的模仿，这些人在特定时间被雇用，在特定指示下工作，像其他所有人一样在下午感到疲倦。CASP 根据实验室确定的物理现实来评分预测，而这个系统根据人类认可的统计画像来评分文本。

这个画像是有用的。但它也必然是一个近似，它与所描绘的对象之间存在差异，没有人完全弄清楚这些差异。我们的偏好模型未能捕捉到的关于我们实际偏好的任何东西都不在目标中，因此不会被优化，因此会受到任何情况的影响——而强大的优化器没有理由保护这个量。

这是关于构造的事实，这里陈述时不对后果有多糟糕作任何声称。眼前的要点更窄也更难反驳。无法评分的事物类别比看起来的要小。如果一个领域抵制测量，可以从人类偏好中构建出一个测量并继续前进。这道防线只在没有人想到制造分数时才有效。

接下来会倒下什么

这留下了一个实际问题，和一个可用的答案。

选择任何你喜欢的活动：一份工作、一门手艺、一个职业、一项你花了多年时间学会做好的任务。问三个问题。

第一，成功和失败能可靠地区分开吗？不是完美地，也不是每个人都能，但要足够一致，让有能力的评判者大多数时候意见一致。游戏轻松通过这一关。蛋白质结构预测通过这一关是因为实验室最终会产生答案。写作在绝对意义上不通过，但在相对意义上通过，因为人们通常能说出两次尝试中哪一次更好。

第二，这种判断能低成本大规模产生吗？这个问题决定的是时机而不是可能性。一个免费且即时的判断，比如在游戏中，意味着系统可以自己生成数百万条训练数据。一个需要实验室的判断较慢但仍然可行，有三十年的评分尝试档案。一个需要付费人类阅读文本的判断很昂贵，这正是为什么投入了这么多努力来训练模型模仿这些人类并将他们从循环中移除。

第三，这个决定的不是一个领域何时倒下，而是之后会发生什么：这个分数真的是你想要的东西吗？游戏的分数是你想要的东西，因为在游戏中，获胜根据定义就是全部意义。根据实验测量的蛋白质结构非常接近你想要的东西。一个标注者偏好的学习模型不是你想要的东西。它是你想要的东西的画像，而画像和面孔之间存在差距。

用这三个问题检验你自己的工作。大多数人发现第一个答案来得很快而且令人不安。我们称之为技能的大多数东西，至少在相对意义上，被有能力的人并排看两次尝试时是可以评分的。第二个问题是真正的不确定性所在，因为成本和规模是移动目标，而且它们已经朝一个方向移动了很长时间。第三个问题是几乎没有人问的，而它决定了你的领域在另一边是什么样子。

值得在一些普通的事情上慢慢做这个练习。拿放射科来说。成功和失败能区分开吗？可以，而且很精确，因为诊断最终会被患者的情况证实或反驳。判断能低成本大规模产生吗？基本可以，因为医院几十年来一直在以图像及确认结果的形式积累评分样本。这个分数是你想要的东西吗？这里答案变得复杂，因为被评分的是与记录诊断的一致性，而想要的是患者情况良好，这两件事大多数时候一致，但恰恰在最重要的情况下会分离。

现在拿一个看起来更安全的东西。拿管理来说。第一个问题就已经很难，因为有能力的人对一个给定的管理者是否优秀意见不一，而且分歧不会快速解决。第二个更难，因为管理决策的结果要多年后才到来，与发生的其他一切都纠缠在一起。第三个最难，因为任何人提出的良好管理的替代指标，从留存率到敬业度分数到人均产出，显然都不是事情本身。根据这个诊断，管理不是因为深刻而安全。它是未被测量的，这是一种不同的、不那么讨人喜欢的保护。

机器已经占据了优化轴。在任何明确指定的目标上，有了足够的计算，寻找好走法不再是竞赛，而且结果往往不仅比我们的更强，而且更陌生，到达我们的传统教我们不要看的地方。这不是预测。这是对国际象棋、围棋、将棋、蛋白质结构以及越来越多曾经在只有人类能做的清单上的事物的描述。

剩下的是目标本身。有人决定分数是什么。在上述每个案例中，那个决定花了一个下午，而每一个非凡的结果都源自它、忠实于它，并且对它遗漏的任何东西漠不关心。

所以最后一个问题是值得深思的。在你的工作中，已经有分数了吗？如果有，是谁写的，他们写的时候想到你了吗？

这是《Whatever You Ask For》系列的第二部分，关于机器最后需要我们什么，以及我们做得有多糟。