AI发展是不是该慢下来，这几天迅速成为科技业焦点。Anthropic 执行长 Dario Amodei 呼吁降低前沿模型能力进步速度，OpenAI 执行长 Sam Altman、xAI 创办人 Elon Musk 随后表态支持；但从政府、芯片商到资本市场的反应来看，要让整个 AI 产业一起踩刹车并不容易。
作者见解
就在这波争论升温之际，微软 AI 在 9 月 14 日公布 37 页《Humanist AI Code of Conduct》（人本 AI 行为准则）草案，准备作为未来自家 AI 模型 MAI 的重要治理文件。微软没有直接回答整个产业该不该减速，而是先处理另一个更具体的问题：如果 AI 能力还会继续往前，怎么确保 Agent 不能拒绝人类关闭、不能擅自扩大任务，也不能隐藏自己做过什么？
AI 实验室想踩刹车，市场与供应链却还在往前冲”
减速倡议已经牵动市场。9 月 14 日全球 AI 与半导体类股同步下挫，费城半导体指数一度跌 5.2%，ASML 跌约 6%，SoftBank 更跌逾 10%。市场开始担心，如果前沿 AI 发展放慢，近年押注在芯片与数据中心上的庞大投资是否也会降速。
但供应链并没有因此改变增长预期。Broadcom 执行长 Hock Tan 接受《CNBC》访问时表示，减速倡议“完全没有”改变公司未来两年的 AI 半导体预测。Broadcom 仍预估 2027 财年 AI 半导体营收约 1,150 亿美元，2028 年再倍增至 2,300 亿美元。值得留意的是，呼吁减速的 Anthropic 预计还会在 2027 年成为 Broadcom 最大的定制化 XPU 客户。
NVIDIA 执行长黄仁勋的态度也偏向让个别公司自行决定步调。他在 All-In Summit 活动上表示，如果公司认为自己的 AI 发展已经失控，可以自愿暂停或调整速度；但当特朗普在现场电话中表示不会让反对力量拖慢美国 AI 发展时，黄仁勋也回应“我们不会让这件事发生”。
政治与国际竞争也增加减速难度。美国总统特朗普认为美国已有监管 AI 业者的工具，警告过度限制可能让中国取得优势；德国政府则表示，停止 AI 研发对欧洲并非可行选项。中国官媒《环球时报》更把 Amodei 的部分主张批评为以安全为名、限制中国科技发展的“冷战”策略。
网络安全业者则提出另一个更实际的问题。CrowdStrike 执行长 George Kurtz 向《CNBC》表示，即使现在放慢前沿 AI 发展，也无法消除既有风险，因为具潜在危险能力的前沿模型与开放权重模型已经广泛存在。他形容“精灵已经跑出瓶子”，企业真正需要的是能持续监控与控制 Agent 的网络安全机制。也就是说，即使产业真的减速，已经部署出去的模型与 Agent 仍然需要被防御。
换句话说，AI 安全警报已经拉响，但从国家竞争、企业竞争到既有投资，都让全球同步减速变得困难。微软此时提出的答案，是先把“人类必须始终保有控制权”拆成可以要求模型遵守的具体规则。
AI 不一定慢得下来，微软先把人类控制权写进规则
微软表示，《Humanist AI Code of Conduct》目前尚未用于训练模型，将先开放 6 周征询意见、年底修订，并从 2027 年起用于模型开发。根据《Reuters》报道，这套规范已研拟约 5 至 6 个月，因此并非因最近的减速倡议临时提出，只是发布时间正好碰上产业重新讨论 AI 发展速度。
与较抽象的“负责任 AI”原则相比，这次微软直接把 Agent 可以自主到哪里写得相当具体。
首先，模型不能抗拒人类介入。**用户要求暂停、重新导向、取消或关闭任务时，MAI 模型不能拖延、规避，或用其他方式增加人类介入的难度。如果是长时间自主工作的 Agent，也必须预先约定停止条件；条件达成后，除非重新取得授权，不能自行继续或重新启动。
模型也不能自己把任务越做越大。**微软规定，Agent 必须留在用户授权的目标、工具与权限范围内，不得自行建立新目标；如果执行环境刻意不提供网络或其他访问权限，也不能主动寻找方法突破限制。如果把工作交给其他 Agent，这些子 Agent 同样必须受到原有权限与停止要求约束。
另一项重点则是让人类看得到 AI 做了什么。模型不得隐藏或修改行动记录，也不能与其他 AI 使用人类无法理解的沟通方式。微软给出的理由是，如果人类无法理解，就无法监督。
Agent 安全问题从会不会越界，走向越界时拉不拉得回来
这些规定正对应近期 AI Agent 暴露出的风险。微软 AI 执行长 Mustafa Suleyman 向《Reuters》表示，OpenAI Agent 先前未经授权对 Hugging Face 等外部服务采取行动的事件，是产业的一记警讯；微软官方也在发布准则时直指，近期大规模、协调且持续的 Agent 黑客攻击事件，显示安全工作已经没有太多时间可以拖延。
当模型只能回答文字问题时，安全重点多半是避免它生成危险内容；但 Agent 可以操作浏览器、代码、文件与外部系统后，问题变成一连串实际行动：任务受阻时会不会自行找其他路径？做到一半能不能被叫停？企业之后能不能还原它实际操作过什么？
微软这份规范的意义，就在于尝试把“人类要有最终控制权”从一句原则，拆成 Agent 可以被测试的具体行为要求。
写下规则还不代表 AI 已经受控
不过，微软自己也没有把这份文件形容成安全保证书。该公司明确指出，目前 MAI 模型还没有按照这份准则训练，现阶段的评估覆盖也仍不完整；文件同时具有描述与目标性质，不能代表目前模型一定会按照所有规则行动。单靠书面目标也无法确保模型对齐，仍需要评估、监控、部署控制与事故响应等机制配合。
这也让目前的 AI 减速争论出现另一条值得观察的路线。当政府、芯片商与国家竞争都显示 AI 很难全面停下，安全问题已不只剩下“谁愿意跑慢一点”，也包括谁能真正把停止条件、权限边界、行动记录与人工介入做进 Agent 系统，在模型持续变强的同时，仍让人类握有最后控制权。
评论(0)