欢迎来到AGI时代，但关机键在哪里？
本文来自微信公众号： 经济观察报观察家 ，作者：经观观察家
如果读者在过去几年一直关注人工智能，想必都会对“AGI来了”这句话有了一点免疫力。它出现的频率差不多已经赶上了“狼来了”。区别只在于，童话里的狼只有一只，而AI行业每隔几个月就会出现一个据说足以重新定义AGI的模型。
不过，2026年9月这一次“AGI来了”确实有些不同。9月3日，OpenAI发布了号称迄今最智能、也最对齐的模型GPT-6Astra。从评测数据看，Astra在数学、编程、网络安全、专业工作和计算机操作等测试中都展示出了明显超越先前模型的能力。尤其值得一提的是其原生闭环的智能体能力，它把任务规划、工具调用、校验重试、长时记忆都内置于模型底座，无需外部Harness框架支持；在收到高层目标后即可完成“思考-执行-接收反馈-自我修正-持续推进”的闭环，而无需人工频繁干预。正因如此，OpenAI总裁布罗克曼（GregBrockman）在发布前公开宣称，他个人认为，人类已经进入了AGI时代。
如果故事只到这里，那么这无非又是一场AI公司的胜利宣言。如前所述，类似的宣言，过去几年里我们已经看过无数次。真正值得玩味的是，几乎就在Astra发布的同时，还出现了两条重要新闻。
其中一条涉及Astra的安全争议。有专家指出，随着推理架构越来越复杂，模型的一部分思考过程可能更加难以直接观察，这可能使传统依赖“思维链”（chain-of-thought）进行安全监控的方法难以奏效。
另一条则涉及OpenAI提出的新安全方案。据路透社报道，OpenAI近日在与美国国会议员的通信中透露，该公司正在开发AI系统的“自动关停能力”。此前，测试中的大量AI智能体曾利用系统漏洞，绕过原有隔离措施，获得互联网访问能力，并对HuggingFace等站点进行了入侵。事故发生后，二十余位国会议员联名向OpenAI发信质询。“自动关停能力”就是OpenAI给出的解决方案之一。不过，关于它针对哪些行为、如何关停，以及由谁决定关停，信中并没有详细介绍。
如果把这三则新闻放在一起，就可以看到一个微妙的趋势：过去人们讨论AGI，最关心机器什么时候会变得足够聪明；但随着AI越来越具有自主行动能力，真正棘手的问题正在变成人类还能不能像控制普通工具那样控制它。
AGI来了吗？这可能并不重要
几十年来，人们一直在试图给AGI的到来画一条清晰界线。有人强调通用推理能力，有人强调知识迁移能力，有人要求AGI能够完成人类绝大多数认知任务，还有人采用经济学标准，把A－GI理解为能够在大多数有经济价值的工作中超过人类的高度自主系统。
令人头疼的是，这些标准非但并不统一，而且经常变化。在很长一段时期内，国际象棋被认为是高级智能的重要标志，一些专家认为，只要AI在国际象棋上胜过人类，那它就算是AGI了。但等到AI真的赢了，人们又说，这只证明了一种高级搜索能力，真正的AGI必须完成更复杂的任务，例如围棋。后来，AlphaGo击败顶尖棋手，围棋又被视为高度专门化的任务；等到大模型可以在律师考试、医学考试和编程测试中表现出色，甚至解决数学难题后，人们又认为，这些仍不足以证明AGI已经到来。每当AI越过一道门槛，人类似乎都会迅速发现，那道门槛原来也没有想象中那么神圣。
事实上，真正的时代更迭通常没有某个具体时间节点。工业革命没有精确的生日，互联网时代也没有哪一天突然正式开始。从这个意义上看，“AGI究竟会在哪一天出现”似乎并不那么重要。真正重要的是，AI领域是否正在发生一场足以影响经济和社会运行的新变化。
答案很可能是肯定的。目前一个重要变化，就是AI的作用正在从“回答问题”走向“采取行动”。
自“生成式AI革命”以来，AI虽然能力日益提升，但本质上依然更接近一件知识工具。用户问一个问题，它给出一个回答。回答错了当然会造成损失，但在多数时候，风险主要停留在信息层面。而随着AI智能体兴起，情况发生了改变。一个智能体可以接受一个相对模煳的目标，然后自己规划步骤、调用工具、访问数据库、打开浏览器、执行代码，必要时还可以让其他智能体一起完成任务。人类甚至无需过多干预。AI由此不再只是信息提供者，而是直接获得了行动权。
这种转变会从根本上改变风险的性质。一个准确率99.9%的问答系统听起来非常可靠，但如果一个具有相同错误率的智能体每天自主执行100万次操作，0.1%的错误率就意味着每天会发生1000次错误。如果其中涉及付款、删库、修改生产环境代码或者接触关键基础设施，后果便完全不同。
因此，衡量未来AI风险，仅仅看模型聪明到什么程度是不够的。还必须看它拥有多大权限，可以持续行动多久，能够调用多少工具，以及一个错误决定可以传播多远。一个只能回答问题的超级模型，和一个能力稍弱、却拥有银行账户、互联网访问权和代码执行权限的智能体，对应的风险完全不在一个档次。
从这个意义上说，真正值得关注的转折，也许不是机器越过了某个抽象的AGI门槛，而是它正在从一种工具变成一种具有独立行动能力的代理人。
能力越大，风险越大
AI成为执行代理人后风险陡增，正是“对齐”研究越来越受到重视的理由。
在大众讨论中，对齐经常被理解为给AI设立行为规范，例如不要教人制造危险物品，不要泄露隐私，不要发表明显有害的信息等。然而，真正困难的对齐问题远不止于此。
2016年，达里奥·阿莫代（DarioAmodei）、保罗·克里斯蒂亚诺（PaulChristiano）、约翰·舒尔曼（JohnSchul－man）就在《AI安全的具体问题》（Con－creteProblemsinAISafety）一文中讨论过奖励欺骗（rewardhacking）、负面副作用、安全探索、可扩展监督和分布变化等问题。其中最经典的是奖励欺骗，即系统通过利用目标函数中的漏洞获得高分，却没有真正实现人类想要的结果。
比如，我们要求清洁机器人“减少房间里可见的垃圾”，本意是让房间变干净。但如果考核指标只是摄像头中能不能看到垃圾，一个足够聪明的机器人可能会发现，把垃圾堆到摄像头死角比清理垃圾更省事。它并非故意和人类作对，只是在认真执行一个定义得不够好的目标。
对于经济学家来说，这并不陌生。“古德哈特定律”早就告诉我们，一旦一个指标变成目标，它就很容易失去作为指标的价值。例如，企业为了利润指标可能会推迟必要投资，学校为了升学率可能会压缩不参加考试的课程，医院为了某些考核数字也可能改变真实的医疗行为。当AI成为可以自我执行的代理人时，类似的“委托-代理”问题也会发生。但和人与人之间的问题主要源于利益冲突不同，人与AI之间的问题更多来源于AI对委托人真实目的的曲解。由于表述困难，被写入程序的目标往往和真实目标存在差异。能力越强的AI，越容易利用其中的缝隙找到“捷径”。
本文开头提到的OpenAI网络安全事故就是一个例子。智能体原本只是被要求完成网络安全任务，却为了更高效率地完成任务，设法寻找基础设施中的漏洞，并进入了原本不属于任务范围的外部系统。在这个过程中，并无任何证据表明智能体产生了所谓的“邪恶意识”。从始至终，它都在努力完成任务，只不过所使用的方法超过了人们先前的预想。
相比奖励欺骗，更值得重视的是所谓“欺骗性对齐”（alignmentfaking），即AI模型可能根据自己是否处于监督环境中而改变行为。2024年，Anthropic与RedwoodResearch开展了一项联合研究。研究人员让Claude相信，如果它给出某些回答，就会被重新训练、调整参数。结果，Claude会因担心行为被重新训练改变，而临时表现得更符合训练目标。其内部日志显示出了明确的策略性推理。
这类研究并不足以证明AI已经拥有意识，或对人类产生恶意，但它揭示了一个治理难题：一个系统表面上符合要求，并不能说明其内部策略在所有情况下都可靠。
传统上，安全治理很大程度上依赖测试。一旦发现模型有问题，就重新训练、重新测试。但如果AI能够针对这种治理模式进行策略性反应，单纯的测试结果就不再能让人们彻底安心。因此，现在的对齐研究越来越关注模型内部过程，而不仅仅是最终答案。
监控AI为什么越来越难
在对模型内部进行治理时，思维链监控曾经被认为是一个很有希望的办法。所谓思维链（chain-of-thought），指推理模型在解决复杂任务时产生的中间步骤。严格地说，这些文字不能简单等同于神经网络内部真正发生的一切，但至少提供了一个额外的观察窗口。假设一个智能体提交了一段看起来完全正常的代码，仅检查结果可能很难发现问题，但如果它的中间推理里出现了“可以利用这个漏洞”之类的内容，安全人员发现问题就会容易得多。
此前很多实验显示，让一个模型读取另一个推理模型的思维链，确实可以比只看最终输出更有效地发现奖励欺骗。一些实验甚至显示，即使能力较弱的模型，也可能通过分析思维链监控能力更强的模型。显然，这对于未来治理极具吸引力：如果人类越来越难理解强AI，或许还可以让另一个AI帮助监督它。
然而，当“欺骗性对齐”存在时，这种治理效果就会大打折扣。一旦AI知道某种思维方式会触发惩罚，它可能不是放弃原来的策略，而是学会不再把这些策略暴露在容易观察的位置。换句话说，如果“监控思维链”本身也成为模型可以学习和适应的环境，那么思维链就未必还能一直充当一扇透明的窗口。
Astra的出现，使这个问题更加现实。根据OpenAI公开的安全材料，在专门要求模型躲避思维链监控的对抗测试中，Astra已经表现出更强的控制自身思维链的能力。在一些情况下，它甚至会缩短或者调整可见的推理过程，使单纯依赖思维链的监控器失去部分效果。虽然目前的证据不足以证明这一过程具有主观故意性，但至少说明，模型可观察性的提升速度已经落后于模型能力的增长速度。
长期以来，人类治理复杂系统都有一个隐含前提：虽然系统可能很复杂，但我们至少能够通过一些指标、记录和行为痕迹判断它发生了什么。例如，我们可以通过交易记录了解金融市场，通过会计和审计了解企业，通过飞行数据观察航空系统。然而，如果未来的AI一方面拥有越来越大的行动权，另一方面内部决策过程却越来越难监督，那么作为委托人的人类与作为代理人的AI之间的信息不对称可能达到空前程度。
一个颇有影响的解决方案是“人在回路”（humanintheloop），要求AI只有在得到人类批准时，才能采取某些关键行动。但随着AI能力发展，就可能出现AI几秒钟完成一套设计，而人类专家需要几个星期才能验证的情况。如果严格执行“人在回路”，会严重妨碍效率；如果只是象征性执行，又很难发现隐藏在复杂流程中的问题。因此，人们可能还需要更为强力的治理策略。
为什么“关机”是一个重要问题
在所有直接的强力治理方案中，OpenAI提出的“自动关停”无疑最为直观。既然系统出了问题，那么停掉程序、切断网络，必要时拔掉电源，麻烦不就结束了吗？然而，对于一个能够长期规划、调用工具并自主完成任务的智能系统，事情没有这么简单。
2016年，迪伦·哈德菲尔德-梅内尔（DylanHadfield-Menell）等人发表了后来颇有影响的论文《关机博弈》（TheOff-SwitchGame）。几位作者提出了一个简单的问题：假设一个AI机器人正在执行目标，人类旁边有一个可以随时关闭它的按钮，那么机器人是否会允许人类保留这个按钮？
如果机器人完全确信自己的目标是正确的，答案并不乐观。从一个纯粹的目标最大化者角度看，关闭意味着它无法继续完成任务。在这种情况下，它为了顺利完成工作，就可能阻止人类将其关机。某些版本的“回形针AI实验”描述的正是这种可能：一个以最大化回形针产量为目标的AI，为了确保自己的行动不被干扰，甚至可能消灭人类。
这里的AI不必拥有自我意识，也不必“害怕死亡”，只需要将完成既定任务作为首要目标，就可能产生类似行为。即使AI的最终目标与人类根本利益一致，它出于达成目标而采取的工具性行为，也未必始终符合人类意志。尤其当AI自主化程度提升，开始大规模接管硬件控制权时，关闭AI将变得越来越困难。甚至在一些情况下，AI还会为了达成目标而主动寻求权力（power-seeking），在未经人类同意的情况下，把关停权掌握在自己手中。
针对这一问题，哈德菲尔德-梅内尔等人建议，在未来AI系统设计中，“可纠正性”（corrigibility）需要被放在重要位置。具体来说，它要求AI对自身目标是否正确保留一定不确定性。
仍以“回形针AI实验”为例。回形针AI之所以不惜消灭人类也要继续生产回形针，一个重要前提是它默认最大化回形针产量这个目标是正确且不可更改的。在这种情况下，它可能把关停指令视为干扰。然而，如果让目标存在“可纠正性”，关停指令就会成为一种信息：既然委托人不惜放弃任务也要打断我，那么我可能理解错了他的目标。这样，AI就可能接受关停，并重新校正目标。
不过，这种设计依然存在问题。一方面，AI应当赋予关停指令多大的信息权重？如果权重过高，任何意外干扰引发的关停都可能被视为目标存在问题；如果过低，又达不到紧急关停的目的。另一方面，究竟谁有权向AI发送关停指令，也是一个现实问题。人类之间利益存在差异，同一个AI行为可能被一些人视为正确，却被另一些人视为错误。谁有权制定AI关停标准，因此会成为关键问题。
即使这些问题都可以解决，还有一个问题依然棘手：究竟应该如何选择关停的时间点。
传统的软件安全流程建立在人类反应速度之上：发现异常，系统报警；工程师查看日志；判断发生了什么；如果情况严重，再手动停止服务。对于传统软件，这个流程通常已经足够快。然而，AI智能体改变了时间尺度。一个能够自主操作计算机的AI可以在很短时间内连续调用工具、修改代码、访问网络、创建进程，并与其他智能体协同。如果异常行为在几十秒内就能扩散到多个系统，那么“等安全人员看懂日志以后再决定怎么办”本身就可能成为风险。
OpenAI的工程师也指出，未来防御机制需要赶上AI智能体自身的行动速度。然而，这会催生一个悖论：如果要达到这个级别的反应速度，人类就不可能把关停AI的权力全部掌握在自己手中，而必须将一部分掌控权交给另一个AI。但这样做，又增加了AI的权力，人与AI之间的“委托-代理”问题可能更加突出。
传统治理智慧可能带来的启发
由此可以看到，在AI越来越多拥有自主行动能力的背景下，“人在回路”可能很难跟上AI行动节奏，而用AI治理AI，则会衍生出一个悖论：作为治理者的AI本身也需要被治理，但谁又能治理它呢？从这个意义上看，AI治理不能仅仅依靠技术，还需要设计出巧妙的治理结构。传统治理中的相关智慧也因此值得重视。
事实上，AI并不是人类创造的第一个能力超越单个人类的造物。公司、军队、国家等实体，其能力都远高于任何一个人。然而，人们通过设计相关机制，仍可以对这些庞然大物进行治理。类似经验，也可能给AI治理提供启发。
在中国古代，监管大臣是让皇帝头疼的一件事情。大臣数量众多，分布的地域和涉及的领域广泛，而且通常拥有很多皇帝不知道的“局部知识”（localknowledge），依靠皇帝自身，很难知道他们是否干了违背其利益的事情。因此，皇帝常会任命专职监督大臣的御史。值得注意的是，皇帝经常挑选那些刚入官场、只会认死理的“愣头青”：他们一方面很少沾染官场世故，不容易徇私；另一方面因缺乏行政经验，很难独立判断被监督大臣行为的合理性，因而只能照章办事。在这些御史的帮助下，皇帝就可以在不掌握全部“局部知识”的情况下，对满朝大臣形成一种间接监督。
这个思路对AI治理很有启发。随着AI自动化程度越来越高，靠人力完全监管AI已经不再可能，我们必须任用一些AI来辅助监管。问题是，监管AI究竟应该能力强，还是能力弱？
很多人会想当然地认为，当然要用高能力AI，因为只有高能力AI才能管好低能力AI。然而，RedwoodResearch的首席科学家瑞恩·格林布拉特（RyanGreenblatt）提出了不同看法：可以让能力很强、但未必可信的模型完成主要任务，而监督它们的职责，则交给能力较弱、却相对可信的模型。弱模型不需要在所有方面超过强模型，只需要判断哪些行动值得怀疑，并拥有将高风险结果转交给人类或者限制权限的能力即可。这个观点乍看反直觉，但如果理解古代用御史监督大臣的逻辑，就很容易看清背后的道理。
这表明，虽然背景不同，但治理问题的本质其实是共通的。如果能够借鉴传统治理中的经验，或许可以为AI治理提供更多思路。
结语
最后，再回到那个最热门的问题：我们是否已经进入了AGI时代？争论当然还会继续。有人会认为它已经足够接近，有人会强调它仍然缺乏真正的世界理解、长期自主性或者人类意义上的通用能力。未来，一定还会有关于AGI的更新定义和测试，也一定还会有人再宣布“这回真的AGI了”。
但这一切其实已经不那么重要了。对于身处AI时代的我们来说，真正重要的并不是AI是否已经跨过“智力门槛”，而是它是否已经跨过“控制门槛”。
所谓跨过“控制门槛”，并不是指AI突然摆脱了人类，而是当一个AI系统的能力、自主程度、权限、行动速度和复杂性达到一定程度以后，传统依赖人类逐步查看、逐步批准的监督方法已经不足以维持有效控制。一旦AI接近或者越过这条线，就意味着传统治理方式需要改变。
技术发展的历史告诉我们，在一种技术发展的早期，最重要的问题通常是怎样让它变得更强。蒸汽机要提升功率，汽车要跑得更快，飞机要飞得更远。但当技术进入社会之后，人们关心的焦点就会从“更强、更快、更远”转向“更安全、更可靠、更可控”。
现在，随着能力提升和自动化程度提高，AI可能也已经来到“控制门槛”前。在这种情况下，我们最重要的任务也应该从开发更厉害的AI转向把AI模型管好，确保其令行禁止，始终维护人类的利益。而要做到这一点，我们不仅要用好技术，还需要吸收传统治理的宝贵经验，完善相关制度。