作者：Hugo，Robonaissance

编译：深潮 TechFlow

深潮导读：从早期 Atari 游戏智能体到拥有数百万上下文窗口的大语言模型，人工智能在跨越时间进行连续决策时，始终面临着一个根本性的物理矛盾：模型能够轻易容纳人类既有的海量静态知识，但在动态交互环境中，却无法将过去的全部细节无损随身携带。

在有限算力与上下文窗口的硬约束下，如何在压缩过去的同时准确提炼决定未来的核心状态，不仅是解决“感知混淆”的技术突破口，更是当下自主智能体迈向真正持久记忆的底层逻辑。

定格画面下的状态悖论

这是《机器中的记忆、遗忘与自我》系列第 3 期：当智能体无法随身携带全部过去时，智能究竟如何跨越时间展开行动。

试着在任何一帧画面定格经典的 Pong 弹球游戏。

画面中只有两只球拍、一个球和当下的比分。此时如果让你说出球正在飞向何方，你根本做不到，即使给机器展示同一张静态画面，机器也同样无法判断。

学者 Matthew Hausknecht 与 Peter Stone 在 2015 年关于学习玩 Atari 游戏的智能体论文中直截了当地指出：“当前的单帧屏幕只能揭示球拍和球的位置，却无法揭示球的速度。”

他们接着解释了为什么这至关重要：“获知球的移动方向，是决定球拍最佳位置的关键要素。”

这个定格画面是精准的，画面上的每一处细节都处在它该在的位置上。但光凭这单帧画面，依然不足以进行这场游戏。

传感器在当下这一瞬间所捕获的，仅仅是一次“观测值（Observation）”。

而智能体下一步行动所依赖的真实全局，则是“系统状态（State）”。

在 Pong 游戏中，观测值与系统状态在每一个单帧切片上都是彼此割裂的。因为球的移动方向是一项关于过去几个瞬间的事实，没有任何一个孤立的瞬间能够单独包含它。

当眼前的即时输入无法满足决策时，一个表现良好的系统就必须从它的过去中向当下承载某些信息。

但它所承载的永远不可能是完整的过去。它所承载的只是一份摘要，而这份摘要的取舍，完全取决于它下一步需要预测什么。

这个取舍决定了后续时刻拥有怎样的信息基础。任何被摘要遗漏的细节，后续时刻都将永远无法基于它做出反应。

四帧深度的记忆折中

Hausknecht 与 Stone 当时所回应的系统，正是 DeepMind 的 Volodymyr Mnih 等人于 2015 年在 Nature 杂志发表的 DQN 智能体。

DQN 能够纯粹通过屏幕画面学会玩数十款 Atari 游戏，而论文作者在研发初期就已经遭遇了定格画面的困境。

他们在论文的方法部分写道：“由于智能体只能观察到当前的屏幕，该任务属于部分可观察状态，许多仿真器状态在感知上存在混淆（Perceptually Aliased）。”

换言之，仅仅依靠当前的屏幕画面，根本无法告知智能体完整的处境。

所谓“感知混淆”，是对日常困扰的一个精准学术描述。两个截然不同的情境（例如球正飞向你的球拍，或者球正飞离你的球拍），在静态画面中会产生完全相同的图像。

一个仅看图像的系统被迫将它们视为同一种情境；如果这两种情境需要执行完全相反的操作，系统必然会在其中一种情况下出错。

他们的补救方法非常直接。网络不再只接收一张屏幕画面，而是将最近的几帧画面叠放在一起作为输入。

在默认设定中取值为 4 帧，尽管该算法对取值 3 帧或 5 帧同样具备适应性。

将四帧画面并排放置后，球的运动就直接显现为了位置的变化。运动方向不再是一个需要抽象记忆的概念，而是变成了一个可以直接被看见的视觉属性。

论文并没有把这组堆叠的画面称为记忆。它本质上只是一个恰好比单一时刻更宽的输入通道。

感知混淆与物理硬边界

这种输入宽度有着极其坚硬的物理边界，Hausknecht 与 Stone 精准描述了这道边界所在。

他们写道：因为 DQN 是使用由智能体最近经历的四个状态构成的输入进行训练的，“如果某款游戏要求玩家记住超过过去四屏画面更久远的事件，DQN 将无法掌握这款游戏。”

对于 DQN 而言，倒数第五屏画面之后的历史，根本就不存在于它的输入范围之内。

这种基于固定滑动窗口的机制，直接揭示了机器智能在时间序列处理上的核心矛盾：无论窗口如何拓宽，边界之外的信息都会被物理抹去。