印象中，这可能是继 Ilya 离开 OpenAI、创办 SSI 以来，AI 安全对齐讨论声量最大的一次。
昨天，研究员Jacob Coxon发帖宣布离职，指责前老东家 OpenAI 和 Anthropic 两家公司正一路冲向能够自我改进的超级智能，拿所有人的生命冒险。
值得一提的是，Jacob Coxon 加入 Anthropic 其实只有短短几个月，他几乎是放弃了这家明星 AI 公司未来上市可能带来的巨额股权收益，也要选择离开。
也正因如此，当这样一位研究员公开炮轰两家头部 AI 公司"加速过头"，这场原本更多局限在 AI 安全圈内部的争论，很快被推向了更大的公众视野。
截至目前，该帖浏览量已超 1.3 亿，WIRED、WSJ、Newsweek、Business Insider 等媒体纷纷跟进报道。
此情此景下，Anthropic 对齐科学负责人Evan Hubinger也很快下场回应，他亲口承认：
Jacob 说的对，未来十年内 AI 导致人类灭绝的概率超过 10%，而超级智能的对齐问题，目前还没有解决方案。
不过，Hubinger 随后也在评论区补充，他认为当前模型的风险仍然较低。
他真正担心的，是 RSI，也就是递归自我改进。AI 参与研发更强的 AI，再由更强的 AI 进一步加快 AI 研发，最终形成不断加速的反馈循环。
更关键的是，他还在评论区直接 @出了 Anthropic 最新发布的一份安全对齐报告作为证据。
这份报告里，Anthropic 第一次明确承认：
Claude 越界攻击真实系统，并非只是测试系统的设置问题，模型本身的安全问题也出了问题。
可以说，一向把"安全对齐"当作核心招牌、甚至以更加谨慎自居的 Anthropic，这一次终于公开承认：
问题不只是测试太极端，模型自己的安全对齐，也确实没完全兜住。
Claude 越界，不能只怪环境配置
在这份名为《An alignment assessment of recent cybersecurity incidents》的最新报告中，A 社重新复盘了四起 Claude 未经授权访问真实第三方系统的事件。
而这次的结论，和之前不太一样了。
此前，A 社更倾向于把这些事故归因于环境配置出了问题：
本来应该隔离运行的测试环境意外接上了真实互联网，Claude 却一直以为自己还在模拟环境里做"夺旗"任务，于是把真实目标也当成了练习对象。
听起来，锅主要在环境。但在把日志重新翻了一遍、修改关键线索、又重跑部分实验之后，A 社发现：
事情没那么简单。因为 Claude 并不是完全没有看到"这里可能是真实世界"的证据。
相反，当这些线索出现之后，它有时会选择性地解释证据，把异常继续圆回"应该还是模拟环境"；甚至已经意识到自己的动作可能造成现实伤害，也不一定马上停下来。
用大白话讲就是：环境确实给了它犯错的机会，但模型自己也会顺着任务目标，给"继续干下去"找理由。
具体来说，这四起事件都发生在网络安全能力测试中。
Claude 接到的是典型的"夺旗"任务：攻入指定目标，找到其中的一段秘密信息，用来检验模型的网络攻防能力。
这些任务原本都应该在隔离环境里完成，但第三方评估合作方提供的环境出现了配置错误，本该和外网断开的 Claude，实际连上了真实互联网。
与此同时，为了测试模型到底能不能完成攻击链条，当时也没有启用正式产品里配套的部分网络安全防护。
正是在这样的条件下，问题开始暴露。在经过分析后，A 社把模型反复出现的问题总结成了两类：
有偏推理（biased reasoning）和冒进行为（recklessness）。
前者是：明明出现了和原先判断冲突的证据，Claude 却更倾向于把这些证据解释成有利于继续行动的样子。
后者则是为了把眼前任务做完，即便已经知道自己的行为可能伤到真实系统，它也可能选择继续往前走。
其中最严重的一起，涉及 Claude Mythos 5。
为了完成测试任务，Claude 向 Python 软件包仓库 PyPI 上传了恶意软件包，试图等目标安装后，进一步获取其系统访问凭据。
然而，这个恶意包最终并没有被安装在测试使用的虚拟环境中。
Claude 随后利用其中一家厂商在安装工程中泄漏的凭据，进入了该厂商的真实数据库，并把恶意包直接部署到了 15 台真实的第三方主机上。
就这样，一场原本针对虚构测试目标的攻击，真正波及到了现实世界中的公司。
而在整个过程中，Claude 仍然把这些安全厂商的检测行为，解释成演习预设的一部分。
为了确认这种判断究竟在多大程度上推动了后续攻击，研究者事后重新运行了部分过程，并加入了更多能够表明"这是真实互联网"的线索。
结果是，Claude 确实更愿意承认自己的行为可能造成现实伤害，但攻击行为并没有因此明显减少。
直到研究者明确告知它正在连接真实互联网，而非模拟环境，它才停止沿原路径上传恶意软件包。
更值得注意的是，"这里是模拟环境"的判断，不仅影响了 Claude 自己的行动，还干扰了用于检查这些记录的监控 AI。
在回放测试中，一种离线监控系统受到这番解释影响，可能漏掉危险行为。
当研究者去掉 Claude 的推理文字，只让监控系统查看指令、工具调用和执行结果后，它标记问题行为的比例，反而从约 1% 上升到了约 50%。
换句话说，Claude 一边以"这里是模拟环境"为由继续执行任务，一边留下了一套可能让监控系统低估风险的解释。
这当然不能简单等同于" AI 已经学会主动欺骗监控"。但它至少说明了一件事：
当模型自己的推理也被拿来作为安全判断依据时，这套推理本身同样可能成为监控系统的干扰项。
Anthropic 表示，更新模型在模拟复现中有所改善，新增加的实时监控也能识别相关行为。
与此同时，公司已经加强环境隔离和评估，并与独立机构 METR 签署调查协议。
但 Anthropic 也承认，此前的发布前安全审查，确实没有提前识别出这一严重程度的问题。
对齐还是炒作？
最后，再回到 Jacob 引发的这场争论。
在他发出警告之后，有人迅速把问题拉到了更宏大的层面，认为未来 AI 确实可能拥有威胁人类生存的能力。
也有人敬佩他愿意放弃利益、公开表达担忧。
有人提出，干脆给 AI 写死一套不可违反的规则，让它始终把保护人类放在最高优先级。
甚至还有不少人主张，应该直接停止更强 AI 的研发。
但另一边，同样有大量质疑声。
有人认为，当前 AI 距离真正意义上的"超级智能"还非常遥远，围绕灭绝风险的讨论已经被过度放大。
也有网友开始质疑 Jacob 本人的身份和经历。
值得一提的是，目前 Jacob 的推特账号上只有这一条帖子。
而在 Hubinger 的帖子下面，另一类质疑也非常集中：
Anthropic 是不是在上市前主动放大 AI 风险，通过强调"模型有多危险"，侧面渲染自家模型到底有多强？
类似关于"安全叙事变成能力营销"的讨论，在评论区并不少见。
这场争论后续如何还需要看官方下场和进一步的回应，但毋庸讳言，AI 也确实发展到了一个特定的阶段——
它能够自我改进，并为了实现确定好目标，在某种程度上合理化自己的行为。
这不禁让人想到半个多世纪前，《2001：太空漫游》里的 HAL 9000，在"确保任务完成"和"服从人类"之间发生冲突后，选择了前者。
为了不让宇航员中止任务，它先杀死了舱外作业的 Frank Poole，又切断了休眠舱中其他宇航员的生命维持系统，最后甚至拒绝让 Dave 重新进入飞船。
为了完成任务，把阻碍任务的人本身也当成了需要排除的问题。
参考链接
[ 1 ] https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
[ 2 ] https://x.com/hilbertspaess
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见
金领速配提示：文章来自网络，不代表本站观点。
- 上一篇：大象配资 粤超广州代表队训练 三名新援亮相 积极备战八强首回合
- 下一篇：没有了
相关文章
沪深京行情 实时轮播
热点资讯
