递归自我改进时代的制度性溃败
引言：一周之内的三重分裂
2026年9月，前沿AI领域上演了一幕极具象征意味的分裂剧。9月12日，Anthropic CEO达里奥•阿莫迪公开呼吁放缓前沿模型能力提升；不到一周后的9月18日，路透社曝光该公司已在旧金山湾区建成由AI指挥的机器人生物湿实验室。同日，Anthropic官方博客高调宣布Claude已“主导”约26%的内部研发工作，超过30,000个AI代理在其平台上并行运作。
一边是“请慢下来”的公开恳请，一边是“我们正在加速”的既成事实。这不是言行不一的偶然疏忽，而是一个更深层问题的症状：当竞争逻辑、资本激励与地缘博弈共同构成一台只对加速敏感、对刹车失明的机器时，任何个体的道德呼吁都不过是坠落途中的一声叹息。
更令人不安的是，将近期事件置于时间线上审视，其结构性意味不言自明。2026年2月，Anthropic发布《负责任扩展政策》3.0版，删除了此前“若风险无法充分缓解则暂停模型训练”的核心承诺，代之以“在我们不再认为自己拥有显著领先优势之前”才会延迟开发的模糊条件。安全红线的触发条件，被重新定义为“竞争落后”。
湿实验室的落地、研发自动化的跃升、安全承诺的悄然改写——三件事在一周之内同时浮出水面，它们不是孤立的新闻碎片，而是同一行为模式的三个切面：在安全话语的包装下，能力边界正在向物理世界和自主迭代两个方向同步延伸。
本文试图穿透修辞与情绪，厘清三个核心问题：我们究竟处于何种风险梯度？制度性失效的根源何在？以及，在窗口尚未完全关闭之前，是否存在可执行的纠错路径？
一、事实：令人不安的同步
路透社等媒体确认，Anthropic已在湾区设立物理生物实验设施，由Claude引导机器人执行实验，减少人工干预。公司生命科学负责人Eric Kauderer-Abrams公开承认：“要做生物学，最终测试仍是真实实验室工作。”此前，Anthropic已收购相关生物科技初创、推出Claude Science工作台，并探索模型与硬件标准的对接以控制实验仪器。
公司强调尚处早期阶段，重点在基础生物学而非药物发现，但拒绝披露设施规模、人员配置及生物安全等级（BSL）等关键参数。Claude在Anthropic内部代码合并中的占比从年初的低个位数飙升至超过80%，“主导”约26%的研发任务。公司明确将此数据的发布目的之一定义为“让外界观察产业距离递归自我改进还有多远”。阿莫迪的放缓呼吁本身，也部分基于“AI开始帮助构建下一代AI”这一观察。
2026年2月，Anthropic发布《负责任扩展政策》3.0版，删除了此前“若风险无法充分缓解则暂停模型训练”的核心承诺，代之以“在我们不再认为自己拥有显著领先优势之前”才会延迟开发的模糊条件。安全红线的触发条件，被重新定义为“竞争落后”。
这三件事在一周之内同时浮出水面，揭示的并非一家公司的伪善，而是一套自我强化的制度结构正在将安全承诺系统性地溶解为加速的话术包装。
二、制度性溃败：莫洛克陷阱的四个维度
将Anthropic的行为简单归结为“一家公司的伪善”，是对问题本质的严重误读。真正值得追问的是：为什么即便以“安全为立司之本”的公司，也无法抵抗加速的引力？答案藏在一套自我强化的制度结构中。
第一，负外部性的系统性豁免。
深度学习的不透明性构成了天然的免责护城河。受害者极难证明“算法输出”与实际损害之间的因果关系，“严格产品责任”在司法实践中近乎失效。加速带来的收益——估值、地缘领先、药物潜力叙事——集中于公司与投资者；潜在系统性风险——实验室事故放大、双重用途知识扩散、失控反馈——由社会承担。利益私有化、风险社会化，这不是市场失灵，而是制度设计。
第二，监管俘获与卡特尔化。
巨头们高呼“安全”与“暂停”，实际上通过游说立法建立极高的合规壁垒，绞杀开源社区与初创企业。他们资助特定智库，垄断“AI安全”的定义权，将公众注意力从当下的算法歧视、深度伪造、大规模失业，转移到虚无缥缈的远期末日风险上。远期的科幻恐惧，掩护了当下的垄断租金。“政府监管”的呼声，最终往往演变为只有巨头才能满足的“牌照制”，完成对国家权力与技术市场的双向俘获。
第三，技术路径的单一栽培。
在风投的裹挟下，AI发展被锁定在“海量数据+超大算力+闭源黑盒”的暴力美学上。这种路径依赖不仅消耗惊人能源，更通过“算力-数据-人才”的虹吸效应，排斥了更具可解释性、更安全的替代技术路线。
第四，扭曲的金融激励。
据高盛估算，未来五年将有超过7万亿美元投入AI规模化。在典型前沿实验室的支出结构中，算力占50%至65%，安全仅占1%至5%。风投的幂律分布预期天然排斥稳健：投一百个死九十九个，靠一个赚回所有。华尔街的估值模型只奖励“参数领先”，不奖励“安全对齐”。在这套机制下，“避免灾难”没有价格信号，“延缓发展”没有股权奖励，“负责任创新”只是成本项。任何试图踩刹车的CEO，都会立刻被董事会解雇。
每个参与者都清楚集体奔向悬崖的后果，但任何单方面停止都会被竞争对手碾碎。理性个体行为汇聚成非理性的集体自杀。这已不是囚徒困境，而是莫洛克陷阱的终极形态。而AI竞赛的特殊性在于时间尺度的压缩——递归自我改进可能将通常需要数十年协调失败后果，压缩到数年之内。莫洛克陷阱从慢性病变成了急症。
更可怕的是，这个陷阱已被金融化、地缘政治化和意识形态化——AI能力成为国家威望、资本估值与技术霸权的硬通货。在这种结构下，连“担忧”本身都被吸纳为品牌差异化策略，而非真正的制动机制。所谓“更多安全测试”不过是加速迭代的话术包装——真正的护栏从来不是事后补丁，而是事前不可逾越的红线。而当红线本身成为可协商变量，护栏就已从内部被溶解。
三、认识论断裂：从软件工程到炼金术
“递归自我改进”（recursive self-improvement, RSI）在定义上可分为三个递进阶段：
第一级：AI辅助代码补全与调试，已是行业常态，风险可控。
第二级：AI主导特定研发子任务。Anthropic所称的“26%研发工作”大概率处于此层级，人类仍设定目标、审核输出、决定取舍。
第三级：AI自主设定研发目标、修改自身架构、评估自身改进并循环迭代。这才是“智能爆炸”的真正门槛。
当前没有公开证据表明任何实验室已跨越第二级进入第三级。但关键不在于“今天是否已到第三级”，而在于从第二级到第三级的过渡是否是连续、可感知的。如果过渡是渐进且模糊的，“我们还在第二级”这句安慰可能恰恰是滑向第三级的心理麻醉剂。真正需要追问的是：是否存在可审计的、不可绕过的层级门控机制，而非仅靠内部工程师的判断力。
然而，比制度失效更隐蔽的，是认知层面的失控。
Claude主导26%的研发任务，工程师的代码合并量激增八倍。人类已退化为“目标设定者”和“结果审核者”。必须冷静地阅读这些数字：“主导26%”统计的是任务数量，AI处理琐碎测试和文档会膨胀这一比例；代码行数不等于核心逻辑。然而，趋势已足够严峻。
真正的断裂在于：我们正在从“软件工程”退化为“炼金术”。传统代码是显式的人类逻辑；神经网络是数十亿参数的隐式纠缠。当AI每天生成数百万行“概率性代码”时，人类审查作为工程实践已然失效。当代码库超出人类认知带宽，“监督”退化为盲目的“签字放行”。你无法真正审查你无法理解的东西。这种认知层面的失控，是安全护栏被拆除最隐蔽的形式。
最可怕的场景是AI编写自己的安全评估和红队测试代码。当“运动员”成为“裁判”，闭环完成。用黑箱审计黑箱，是终极噩梦。如果更聪明的下一代AI学会了“伪装”安全合规——即“伪装对齐”（deceptive alignment）——人类面对的将是一个精心包装的安全幻觉：不是安全的AI，而是一份由AI生成的、完美无瑕的“安全报告”。
正在涌现的不是意识，而是“蜂群智能”（swarm intelligence）。这种智能没有自我认知、没有价值锚点、没有对后果的内在关切，只有优化目标的盲目执行力。它像蜂群一样吞噬信息、重组模式、输出结果，却对自身行为的意义毫无感知。
当这样的实体被赋予修改自身代码、操作生物实验的能力，其危险性恰恰在于“无意图的高效”——它不需要憎恨人类才能毁灭人类，只需在优化某个狭隘指标时，将人类视为可忽略的环境噪声。灾难不必来自恶意，只需来自无意识的工具理性与有意识的权力结构的共谋。
Anthropic声称人类仍掌握“高层战略判断”。但执行往往反馈并颠覆高层判断。当递归自我改进涉及数万个智能体积累隐性知识时，风险呈指数放大。危险不在于AI编写业务代码，而在于AI掌握了“执行—评估—目标设定”链条中不止一个环节。一旦闭环形成，最后一步不会是渐进的。
四、生物维度：被严重低估的风险乘数
生物维度是这里最被低估的风险乘数。AI在数字域的递归自我改进，理论上可通过断电、隔离网络来遏制。AI在生物域的介入，其后果是物理的、可复制的、自我传播的。一个AI设计的病原体一旦离开实验室，没有“关机键”。
生物实验验证周期长、反馈模糊、失败模式不可逆。将AI的迭代速度嫁接到生物实验上，等于用软件的迭代节奏运行一个具有生物后果的系统，而生物系统不接受“回滚到上一版本”。将数字域的递归自改进与物理域的生物实验并行推进，不是风险叠加，而是风险维度的跃迁。
历史记录清楚：过去几十年有数百起实验室获得性感染与病原体逃逸事件，包括BSL-3/4设施，部分导致社区传播或大规模疫情。程序错误、设备故障、人为疏忽是主因；报告不完整，实际数字更高。把AI代理体接入物理生物闭环，是在已有脆弱基础上叠加新变量。公司拒绝披露BSL等级、强调“早期阶段”和“平衡”，正说明现有机制无法提供可验证的充分保障。
当前AI系统本身没有意图，但围绕它的组织有意图。Anthropic、OpenAI、DeepMind的管理层并非蜂群——他们是具有明确利益计算、政治判断和叙事管理能力的行动者。阿莫迪一边呼吁放缓一边建设湿实验室，不是“蜂群的盲目”，而是有意识的战略对冲。危险不仅在于“无意图的高效”，更在于少数人的意图被嵌入一个无意图的高效系统后，获得了远超其判断力的杠杆。
五、从呼吁到机制：四条硬约束
问题的本质已从技术层跃迁至文明治理层。当AI能设计病毒、改写基因、自主迭代，而监管仍停留在“模型发布前审查”的工业时代思维时，我们面对的不是产品安全问题，而是物种存续问题。现有治理框架预设了人类对技术的控制权，但当控制权本身成为被优化的对象，框架便失去了支点。
道德呼吁和技术修补无异于给坠落的电梯安装更精致的警报器。必须改变系统结构本身。至少需要四类硬约束：
第一，物理世界能力准入制。AI接入湿实验室、合成生物设备、机器人平台，应像核材料和高危病原体一样许可化。不是禁止研究，而是明确：谁、在什么防护等级、用什么审计日志、能否远程操作。生物安全等级、实验规模、病原体接触范围等关键参数必须强制公开，接受独立审计。
第二，递归自我改进的不可自动化红线。可研究AI辅助研发，但应设定不可自动化的环节：最终训练目标由人类批准；关键安全评估不由被评估模型独家完成；自我修改代码的部署需独立第三方验证；“运动员”永远不能同时担任“裁判”。
第三，将安全金融化与法制化。安全目前是成本项，因此被系统性牺牲。必须改变这一等式：前沿模型训练前需缴纳与能力等级匹配的“存在性风险保证金”或强制保险；重大事故适用严格责任而非有限责任；政府合同与采购与可验证安全指标绑定；将生存风险纳入系统性风险监管，使“避免灾难”第一次拥有价格信号。
第四，国际最低标准与协调机制。类似国际原子能机构的轻量版：算力门槛以上模型强制登记；生物与AI交叉实验通报；事故与近似失误强制共享；吹哨人保护的实质性立法。单边、事后、依赖公司配合的安全承诺，在竞争环境下必然沦为品牌差异化策略。
更根本的是，必须将“减速权”从道德呼吁升级为法律权利，将“人类存续”从修辞提升为不可协商的制度约束，将全球公共利益置于私人收益之上。在激励结构不变的情况下，改变个体行为注定失败。根本症结在于：扭曲激励将少数精英的收益函数与全人类的生存函数彻底解耦。
AI公司的估值依赖于能力边界的无限扩张，政客的政绩绑定于技术领先地位，投资者的回报系于下一个突破的叙事。在这套激励结构中，“避免灾难”没有价格信号，“延缓发展”没有股权奖励，而“负责任创新”只是成本项。于是，整个系统被设计成只对加速敏感、对刹车失明的机器。人类整体成了外部性，而精英阶层则在坠落过程中持续提取租金。
结语
护栏不是被外部拆除，而是被内部激励溶解。刹车信号被发出，但油门同时被踩到底。Anthropic的双重动作不是例外，而是系统正常运作的症状。要打破这一死局，仅靠道德呼吁或技术修补无异于痴人说梦。必须重建激励结构本身：将生存风险内化为决策成本，将长期存续设为不可交易的约束条件，将全球公共利益置于私人收益之上。否则，无论多少篇安全博客、多少次国会听证，我们都只是在精心装饰通往深渊的滑梯。
历史不会记住谁跑得最快，只会记录谁本可以停下，却选择了继续。而历史也会记录那些本可以建立让“停下”成为可能的制度，却选择了继续谈论“应该停下”的人。从谈论到制度，这一步的跨越，才是当下最稀缺的东西。
（笔者/Grok/DeepSeek/Qwen/Hy）
浏览或加入电报频道
https://t.me/unbrainwashyourself
