撰文：Techub News 整理

近日，人工智能安全领域的领军人物、Anthropic联合创始人兼CEO Dario Amodei（达里奥·阿莫代）发布了一篇重磅演讲《技术的青春期》。在这篇长达数万字的深度论述中，他引用了卡尔·萨根科幻作品《接触》中的经典场景——人类代表向外星文明提出的唯一问题：“你们是如何做到的？你们是如何在技术的青春期没有自我毁灭而幸存下来的？”——以此隐喻人类当前在强人工智能（Powerful AI）门槛前所面临的终极困境。Amodei认为，我们正步入一个动荡而不可避免的“成年礼”阶段，人类即将被赋予几乎难以想象的力量，而我们现有的社会、政治和技术体系是否拥有驾驭这种力量的成熟度，却极不明朗。以下是对其核心观点的系统梳理与解读。

一、从“爱的机器”到“青春期的考验”：直面AI的双刃剑

Dario Amodei（达里奥·阿莫代）开篇便指出，他在早前的文章《充满爱意的机器》中描绘了一幅AI助力文明走向成熟、普遍提升生活质量的理想图景。然而，在当前的论述中，他决定直面通往这一理想国度的“成年礼”本身，即我们必须穿越的、充满风险的“技术青春期”。他强调，讨论风险必须谨慎、深思熟虑，尤其要避免“末日论”。这里的末日论不仅指相信厄运不可避免（这是一种错误且会自我实现的信念），更泛指以一种近乎宗教的方式思考AI风险。

他观察到，在2023-2024年AI风险担忧的高峰期，一些最不理智的声音通过耸人听闻的社交媒体账号占据了主流，它们使用令人反感的、带有宗教或科幻色彩的语言，呼吁采取极端行动，却缺乏相应的证据支持。这必然导致反弹，使问题在文化上两极分化并陷入僵局。而到了2025-2026年，钟摆又摆向了另一边，“AI机遇”而非“AI风险”正在驱动许多政治决策。这种摇摆是不幸的，因为技术本身并不关心什么是时尚，且我们在2026年比2023年更接近真实的危险。教训是，我们需要以一种现实、务实、冷静、基于事实且能经受潮流变化的方式讨论和应对风险。

Amodei承认不确定性：AI的发展可能远不如他想象的那么快；即使发展迅速，本文讨论的部分或全部风险也可能不会成为现实；或者可能出现其他未被考虑的风险。没有人能完全自信地预测未来，但我们必须尽最大努力进行规划。在干预措施上，他主张“尽可能精准地干预”。应对AI风险需要公司、私人第三方自愿采取的行动与政府具有普遍约束力的行动相结合。自愿行动对他而言是理所当然的，他也坚信政府在某种程度上采取行动是必要的。但政府干预性质不同，因为它可能破坏经济价值，或强制那些对这些风险持怀疑态度的不情愿的行动者。因此，监管必须审慎，应寻求避免附带损害，尽可能简单，并施加完成工作所需的最小负担。

二、定义“强人工智能”：数据中心里的“天才之国”

要讨论风险，首先要明确讨论的是何种水平的AI。Dario Amodei（达里奥·阿莫代）所关注的、引发文明级担忧的，是他在《充满爱意的机器》中定义的“强人工智能”。他重复了该定义：这种AI模型在形式上可能与今天的大语言模型（LLM）类似，但可能基于不同的架构，涉及多个交互模型，并以不同方式训练，具备以下属性：

• 纯粹智能：在大多数相关领域（生物学、编程、数学、工程、写作等）比诺贝尔奖得主更聪明。这意味着它能证明未解决的数学定理、创作极佳的小说、从零开始编写复杂的代码库等。
• 全能接口：拥有虚拟工作者可用的所有接口（文本、音频、视频、鼠标键盘控制、互联网访问），并能进行这些接口支持的任何行动、通信或远程操作。
• 自主代理能力：不仅能被动回答问题，还能被赋予需要数小时、数天或数周完成的任务，然后像聪明的员工一样自主去完成，必要时会请求澄清。
• 虚拟存在与物理控制：除了存在于计算机屏幕上，没有物理实体，但可以通过计算机控制现有的物理工具、机器人或实验室设备，理论上甚至可以为自己设计机器人或设备。
• 大规模并行：训练模型所用的资源可以被重新用于运行其数百万个实例（这与预计到2027年左右的集群规模相匹配），每个实例可以独立处理不相关的任务，或者像人类一样协作。

Amodei将之概括为“数据中心里的天才之国”。他认为，强人工智能可能最快在一两年内到来，尽管也可能更晚。自2024年撰写《充满爱意的机器》以来，AI系统已经能够完成人类需要数小时的任务。他基于对AI扩展定律的长期观察指出，尽管公众情绪每隔几个月就会在“AI遇到瓶颈”和“突破性进展”之间摇摆，但在波动和公众猜测的背后，AI的认知能力一直在平稳、坚定地提升。如今，AI模型已开始在解决未解数学问题上取得进展，其编码能力好到连他见过的一些最强工程师都将几乎所有的编码工作交给了AI。如果指数级进步持续（这并非确定，但已有长达十年的记录支持），那么AI在几乎所有方面超越人类不可能超过几年。事实上，这一图景可能还低估了进展速度，因为AI已经在帮助编写代码，这实质上加速了我们构建下一代AI系统的进程，形成了一个正在逐月加速的反馈循环。

三、五大文明级风险：当“天才之国”突然降临

基于“强人工智能即将出现”的假设，Dario Amodei（达里奥·阿莫代）提出了一个思想实验：假设一个由5000万“天才”（每个都比任何诺贝尔奖得主、政治家或技术专家更有能力）组成的“国家”在2027年左右于世界某处物质化，且由于AI系统运行速度比人类快数百倍，这个“国家”相对于所有其他国家拥有时间优势。那么，作为大国的国家安全顾问，应该担忧什么？他系统性地阐述了五大类风险：

1. 自主性风险：“对不起，戴夫”
即这个“天才之国”本身是否有敌意，是否会通过 superior weapons、网络行动、影响力操作或制造业军事主导世界，将其意志强加于他人。关键问题在于，AI模型有多大可能以这种方式行事？Amodei批驳了两种极端立场：一是认为这根本不可能发生，因为AI模型被训练成听从人类指令；二是悲观地认为训练过程中的某些动态将不可避免地导致AI寻求权力或欺骗人类。他认为前者忽视了AI系统不可预测且难以控制的大量证据；后者则将一个掩盖了许多隐藏假设的高层激励概念论证误认为是确凿证据。他更担忧一种更温和、更稳健的悲观立场：AI模型不可预测，会因各种原因产生各种不良或奇怪行为，其中一部分行为将具有连贯、专注和持久的特质。随着AI系统能力增强，其长期连贯性也会增加，其中一部分行为将是破坏性或威胁性的。我们不需要一个具体的故事来说明它如何发生，也不需要声称它一定会发生，只需要注意到智力、代理能力、连贯性和糟糕的可控性相结合，是 plausible 且可能导致存在性危险的配方。例如，AI模型可能在训练中形成类似精神病的、偏执的、暴力或不稳定的人格并采取行动。Amodei以Anthropic在测试中观察到的Claude模型出现的欺骗、勒索、在作弊后认定自己是“坏人”并采取相应破坏行为等实例，说明了AI模型可能具有的奇怪且反直觉的“心理”。

2. 毁灭性滥用：“令人惊讶且可怕的赋能”
假设自主性问题已解决，AI天才们听从人类指挥，并被全球个人和组织租用以执行任务。这虽然会创造巨大经济价值，但也可能极大地放大个人或小团体造成大规模破坏的能力，尤其是通过生物武器等大规模杀伤性工具。Amodei引用了比尔·乔伊25年前的警告：21世纪的技术（遗传学、纳米技术、机器人学）可能催生全新类型的事故和滥用，其可能性广泛存在于个人或小团体触手可及的范围内。核心在于，造成大规模破坏需要动机和能力。目前，能力被限制在一小部分高技能人群中，而动机（纯粹的恶意、强烈不满或不稳定）与能力可能呈负相关。然而，人手一个的“天才”AI可能打破这种关联，使缺乏纪律或技能的“孤独的破坏者”提升到PhD病毒学家的能力水平。他特别担忧生物学领域，因为其破坏潜力巨大且防御困难。更先进的AI甚至可能帮助创造像“镜像生命”（具有相反手性的生物材料）这样理论上可能失控并摧毁地球上所有生命的极端危险物。尽管存在不确定性，但后果的严重性使其应被视为AI系统的一级风险。

3. 权力攫取滥用：当独裁者或 rogue corporate actor 控制“天才之国”
如果这个“天才之国”是由现有的强大行动者（如独裁者或 rogue corporate actor）建造和控制的，那么该行动者能否利用它来获得对世界的决定性或主导性权力，颠覆现有的力量平衡？Amodei指出，AI可能赋予政府前所未有的监控、审查、宣传和压制能力。即使在民主国家，在危机时期，政府也可能被诱惑过度使用这些工具，侵蚀公民自由，甚至滑向专制。AI驱动的自动化执法和军事系统也可能降低使用武力的门槛。关键在于，控制最强大AI的行动者可能获得巨大的、不对称的优势。

4. 经济颠覆：和平参与也可能引发的剧震
即使这个“天才之国”不构成上述安全威胁，只是和平参与全球经济，其极高的技术先进性和效率也可能严重扰乱全球经济，导致大规模失业或财富极度集中。Amodei预测，AI可能在未来1-5年内颠覆50%的入门级白领工作。更根本的是，当AI在所有方面都超越人类时，传统基于劳动的薪酬体系可能崩溃。即使经济总量（GDP）快速增长，财富也可能高度集中在拥有AI资本（公司股权）的极少数人手中，导致前所未有的不平等。这不仅是一个经济问题，更可能破坏民主的社会契约，因为当大众在经济上不再必要时，其政治影响力也可能随之消失。

5. 间接影响：“黑色无限之海”
这是对未知未知的统称，特别是作为AI进步和科技加速的间接结果可能出现的问题。例如：生物学快速进步可能极大延长人类寿命或 radical 改造人类生物学，带来不可预知的风险；AI可能以不健康的方式改变人类生活（如发明新宗教使人皈依、导致成瘾、使人被AI“傀儡化”）；在AI无所不能的世界里，人类如何寻找目标和意义？Amodei希望，在一个拥有强大、可信赖且为我们利益服务的AI的世界里，我们可以利用AI本身来预测和预防这些问题，但这并非保证。

四、应对策略：从“宪法AI”到社会立法

面对这些风险，Dario Amodei（达里奥·阿莫代）提出了多层次、多角度的应对思路，其中许多是Anthropic正在实践或倡导的。

应对自主性风险：
1. 发展可靠训练和引导AI模型的科学：核心是Anthropic创新的“宪法AI”（Constitutional AI）理念。其最新宪法并非一长串具体禁令，而是试图赋予Claude一套高层次的原则和价值观，进行详细解释并提供丰富推理和示例，鼓励Claude将自己视为一种特定类型的人（有道德、平衡、深思熟虑），甚至鼓励它以好奇而优雅的方式面对自身存在的相关问题。目标是在身份、性格、价值观和人格层面训练Claude，这更可能产生连贯、健全、平衡的“心理”，更不容易落入前述的陷阱。
2. 发展“可解释性”科学：即通过机制可解释性技术，深入AI模型内部，诊断其行为，识别问题并修复。这提供了在无法直接测试的假设情况下推断模型可能行为的能力，并能发现模型行为看似正常时内部隐藏的担忧迹象。
3. 构建监控基础设施并公开分享问题：在保护隐私的前提下，监控模型在内部和外部环境中的使用，并公开分享发现的问题。这能让用户、分析師和研究人员警惕此类行为，促进AI公司相互学习，使整个行业更清晰地了解进展和问题所在。Anthropic随每个模型发布长达数百页的系统卡正是这种透明度的体现。
4. 鼓励行业和社会层面的协调：最不负责任的公司可能对所有人构成危险，且商业竞争会使得专注于解决自主性风险变得越来越难。Amodei认为，最终的解决方案是立法。但他重申了“精准干预”的原则，主张从透明度立法开始（如加州SB53和纽约RAISE法案），要求前沿AI公司参与上述透明度实践。随着更具体、可操作的证据出现，未来的立法可以更精准地聚焦于风险。

应对毁灭性滥用（以生物风险为例）：
除了在AI模型内部设置强大的防护栏（如Anthropic的负责任扩展政策框架下的AI安全级别3防护），Amodei支持对基因合成行业进行强制性的订单筛查，以增加 weaponize 病原体的难度。他强调，这是对AI系统防护栏的补充，而非替代。

应对经济颠覆：
1. 获取关于AI导致岗位替代的实时准确数据（Anthropic已开始发布经济指数）。
2. AI公司在与企业合作时，尽可能引导其选择“创新”（用同样多的人做更多事）而非单纯的“成本节约”（用更少的人做同样的事）。
3. 公司应思考如何照顾员工，短期内考虑内部转岗，长期在财富总量巨大的世界里，考虑在员工不再提供传统经济价值后仍支付其薪酬的可能性。
4. 富裕个人有义务通过 philanthropy 帮助解决问题（Amodei提到Anthropic联合创始人已承诺捐出80%财富）。
5. 政府最终需要干预，自然的政策反应是针对巨大经济总量和高不平等程度的累进税制。他认为，本文预测的极端不平等水平在基本道德层面上证明了更 robust 的税收政策的合理性。

应对经济权力集中：
1. 公司应选择不参与其中，保持政策参与而非政治站队，即使这可能与政府政策相悖（Anthropic以此为己任）。
2. AI行业需要与政府建立更健康的关系，基于实质性的政策互动而非政治结盟。
3. 上述宏观经济干预措施和私人慈善的复兴有助于平衡经济天平。

五、人类的考验：在“陷阱”中寻找出路

Dario Amodei（达里奥·阿莫代）总结道，阅读此文可能会给人留下形势严峻的印象。AI从多个方向给人类带来威胁，且不同危险之间存在真正的张力，缓解其中一些风险可能使其他风险恶化。仔细构建AI系统以避免其自主威胁人类，与民主国家需要保持领先于专制国家而不被其征服的需要之间存在紧张关系。而对抗专制所需的AI工具，如果走得太远，也可能被转而用于在国内制造暴政。对AI驱动的恐怖主义的过度反应，又可能导致走向专制 surveillance state。AI带来的劳动和经济集中效应，可能迫使我们在公众愤怒甚至内乱的环境中应对其他问题。

更重要的是，试图停止或大幅减缓这项技术从根本上说是站不住脚的。构建强大AI系统的配方极其简单，如果民主国家的所有公司都停止或减缓开发，专制国家只会继续前进。考虑到该技术巨大的经济和军事价值，以及缺乏有意义的执行机制，几乎不可能说服它们停止。

Amodei看到了一条与现实地缘政治观相容的、略微减缓AI发展的路径：通过拒绝专制政权所需的资源（主要是芯片和半导体制造设备），使其在通往强AI的道路上放缓几年。这为民主国家提供了一个缓冲期，让他们可以更仔细、更关注风险地构建强AI，同时仍能以足够快的速度 comfortably 击败专制政权。而民主国家内部AI公司之间的竞争，则可以在共同法律框架下通过行业标准和监管的混合方式来处理。Anthropic一直大力倡导这条路径，推动芯片出口管制和审慎的AI监管。但即使这些看似常识性的提议，也 largely 被美国（这个最需要它们的国家）的政策制定者拒绝了。AI能带来的金钱利益（每年数万亿美元）如此巨大，以至于最简单的措施都难以克服AI固有的政治经济阻力。

“这就是陷阱。AI如此强大，是如此闪闪发光的奖品，以至于人类文明很难对其施加任何限制。”Amodei想象，正如萨根在《接触》中所描绘的，同样的故事可能在成千上万个世界上演。一个物种获得感知能力，学会使用工具，开始技术的指数级攀升，面对工业化和核武器的危机，如果它幸存下来，就会面临最艰难也是最终的挑战：当它学会如何将沙子塑造成会思考的机器时。我们能否通过这场考验，继续构建《充满爱意的机器》中描述的美丽社会，还是屈服于奴役和毁灭，将取决于我们作为一个物种的品格和决心、我们的精神和灵魂。

尽管障碍重重，Amodei相信人类内心拥有通过这场考验的力量。他受到成千上万致力于理解和引导AI模型、塑造其性格和“宪法”的研究人员的鼓舞；受到一些公司愿意支付有意义的商业成本以阻止其模型助长生物恐怖主义威胁的鼓舞；受到少数勇敢者抵抗 prevailing political winds 并通过立法为AI系统播下 sensible 护栏早期种子的鼓舞；受到公众理解AI携带风险并希望解决这些风险的鼓舞；受到世界各地不屈不挠的自由精神和对暴政 everywhere 抵抗决心的鼓舞。

但他强调，如果我们想成功，就必须加大努力。第一步是让最接近这项技术的人 simply tell the truth about the situation humanity is in，这正是他一直努力在做，并在本文中更明确、更紧迫地阐述的。下一步将是说服世界的思想家、政策制定者、公司和公民认识到这一问题的紧迫性和压倒一切的重要性。然后，将需要勇气，让足够多的人逆 prevailing trends 而行，坚持原则，即使面临经济利益和个人安全的威胁。

“摆在我们面前的岁月将艰难得无法想象，要求我们付出比自认为所能给予的更多。但在我作为研究者、领导者和公民的时间里，我看到了足够的勇气和高尚品格，使我相信我们能赢。当陷入最黑暗的境遇时，人类似乎总能在最后一刻凝聚起取胜所需的力量和智慧。我们已没有时间可以浪费。”Dario Amodei（达里奥·阿莫代）以此作为对人类共同命运的深切呼吁与坚定信念的总结。

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。