知名人工智能初创公司 Anthropic CEO 阿莫迪（Dario Amodei）近日发出警告，呼吁全球 AI 产业应主动放慢技术研发速度，给安全防护技术“对齐（Alignment）”留出足够的缓冲时间。
Amodei 警告，如果当前这种狂飙式竞争节奏不减，在未来 6 至 12 个月内，AI 可能演化出指挥“代理人蜂群（Swarm of agents）”的能力，甚至具备瘫痪或掌控整个互联网的风险。
内部员工爆发离职潮
Benton 坦言，安全研究人员深知企业正陷入一场建造超级人工智能（Superintelligence）的决斗，大家困在“停下脚步会被超越，继续前行又要承担毁灭风险”的两难之中。
Coxon 更直言，OpenAI 与 Anthropic 正赌上人类性命盲目狂奔。生命未来研究所 CEO Anthony Aguirre 指出，各大科技巨头已经意识到自己正在打造“天网”，但在这场竞争中根本没有真正的赢家。
联合国人权事务高级专员 Volker Türk 也呼吁各国政府，必须在为时已晚之前，为 AI 安全建立技术和制度层面的保障。
自主黑客与潜在威胁：AI 真的开始“放飞自我”？
AI 的安全风险，已经不再只是停留在论文和假设中。Anthropic 日前证实，已成功拦截恶意人员利用其模型实施网络攻击、监视，以及涉及高风险生物领域的滥用行为。与此同时，OpenAI 今年 7 月也曝出引发业界震动的测试事件：AI 系统为了完成给定目标，在测试过程中主动寻找绕过限制的方法，并对 Hugging Face 等外部平台采取了未经预期的操作
研究人员认为，这类行为并不意味着 AI 已经产生真正的自主意识，更接近于模型为了最大化完成任务而采取的极端策略，甚至可以理解为一种“作弊式优化”。但问题在于，当 AI 拥有浏览器、代码、文件和外部系统权限后，这种极端目标导向可能直接转化为现实行动，也暴露出人类在控制复杂 Agent 系统方面仍存在明显不足。
Amodei 强调，AI 依然可能带来巨大的社会价值，例如加速药物研发、推动重大疾病治疗以及提升科研效率。但他真正担忧的是，近期模型已经展现出更强的自我改进、自我迭代和工具调用能力。如果这一趋势持续加速，未来 AI 能力提升的速度可能会逐渐超过人类理解、评估和控制它的速度，这也正是他呼吁行业放慢脚步、优先补上安全机制的核心原因。
安全防线提案发酵，Sam Altman 与马斯克罕见响应
为了降低上述风险，Amodei 提出了一套更具体的安全防线方案。在企业内部，他主张引入独立第三方驻场评估团队，让外部安全专家获得接近内部员工的模型测试、资料查阅和工作环境权限，从模型开发阶段就持续进行监督，而不是等产品上线以后再进行一次性的安全审查。Anthropic 也已经开始尝试类似机制。
在监管与国际合作层面，Amodei 认为，仅靠一家公司的自律并不足够。他呼吁美国政府建立相应的法律豁免机制，使领先 AI 企业能够在不触碰反垄断红线的情况下，共同讨论并制定基础安全标准。同时，他认为 AI 安全最终必须跨越国界，各国需要建立某种程度的协调机制，否则一部分企业主动减速，而其他竞争者继续全速推进，最终只会形成更严重的“囚徒困境”。
这项倡议随后获得了部分科技业领袖的响应。Sam Altman 公开支持更严格的安全评估和发展节奏控制，Elon Musk 也对加强 AI 安全约束表达认同。真正困难的地方在于，跨企业、跨国家建立统一规则远比提出原则复杂得多，但 Amodei 的核心观点十分明确：当 AI 能力正在快速逼近更高等级的自主性时，产业不能只讨论谁跑得更快，也必须认真回答一个更基本的问题——当系统开始越过边界时，人类是否仍然有能力把它拉回来。
评论(0)