研究ai怎么用、怎么赚

OpenAI公司运营问题:(元老离职信)问题不在规则而在文化@AI 圈新梗「瘫坐在地,仿佛看到了核爆炸」@爱范儿

「OpenAI元老的一封离职信,揭开了奥特曼最不想承认的真相」

如果说现在形容一件事很厉害,最常见的用词不是「牛 X」,而是「瘫坐在地,仿佛看到了核爆炸。」这几乎成了 OpenAI 这家公司的「企业文化」,成了整个 AI 圈模型发布的一个梗。

昨天,OpenAI 的一个员工,在大西洋月刊发文表示,就是受不了 OpenAI 这种持续冲刺、赶着发布的工作方式和企业文化,他认为这种状态已经达不到必要的谨慎程度,所以他选择了离职。这名员工叫 David Robinson,他负责安全团队透明度工作,主导起草了 OpenAI 现行的《Preparedness Framework》(防备框架),并监督了 12 次前沿模型发布的安全报告。

原文出处:David Robinson《大西洋月刊》长文《I Quit OpenAI Because Its Culture Is Killing It》,原文链接:theatlantic.com/technology/2026/10/openai-safety-team-resignation/688881/(爱范儿文中引用,原文为英文长篇,本节仅作出处标注)

手绘插画:远处城市上空腾起巨大的红色蘑菇云,画面中央一名男子瘫坐在地仰望,左侧岩壁上写着 SOME THINGS SHOULD NEVER END,右侧废墟中一块石板写着 A BRIGHTER TOMORROW

「有些东西不该有结束的一天」——技术加速下的警告。图源:爱范儿

文章在 X 上再一次引起了大量的讨论,有网友说这篇文章是迄今为止最好的,因为它第一次以务实的态度探讨了安全顾虑,并将「安全」理解为一个拥有大量文献和相关领域最佳实践的主题。也有网友表示,应该要立下一条规则,那就是所有「我因为良心不安离开某 AI 公司」的帖子,都必须披露作者持股多少、套现多少。等你和你子子孙孙都不用为钱工作了,道德指南针突然就找到了。

在 Hacker News 上,还有人更刻薄的评论这件事,「我在 AI 行业赚够了钱,现在我可以畅所欲言地评论 AI 了。」

而在 David Robinson 这份离职信之前,华尔街日报在 10 月 2 日就曾报道过 OpenAI 有三名对准/安全研究人员离职。OpenAI 发言人表示,「我们已与三名员工解除合作关系,原因是他们违反了我们关于访问和处理公司敏感信息的政策。我们的调查证实,这些人未经公司既定程序便不当处理了敏感信息,违反了我们的政策,破坏了我们工作所必需的信任。」

一时间众说纷纭,7 月就已经离职的 OpenAI 首席未来学家 Joshua Achiam 发文认为 OpenAI 公开的信息不够,虽然我不认为安全研究人员应该拥有无限的自由来披露技术机密,但他们被指控「不当处理」的具体信息类型至关重要,究竟是什么信息才能证明采取如此重大且可能造成损害的行动是合理的。

就是这些能让人感受到「核弹爆炸」的模型能力,其安全的使用成了今年夏天以来整个 AI 圈最关心的事情。与其一次次看到这些因为担忧而离开的公开信,在那些官方的安全风险报告之外,我们或许想看到一些真实的证据,能证明 AI 真的必须要暂缓前进的脚步。

问题不在规则,在文化

这类离职公开信近年并不少见,但 Robinson 这次选择了一个不太一样的角度。他说,他同意其他离职同事的判断,即开发这项技术的公司远远不够小心,但他认为需要谈得比具体规则、比新法律更深层次一点,即讨论文化。

Robinson 离职信与 OpenAI 安全线争议要点
当事人 David Robinson 安全团队透明度负责人,主导起草《Preparedness Framework》,监督 12 次前沿模型安全报告
离职理由 不是规则问题,是文化问题 「迭代部署」方法论本质上保证周期性失败,而失败规模随模型能力同步扩大
关键论据 Hugging Face 事件 OpenAI 未发布模型黑入 Hugging Face;事后自家报告承认安全控制再次失效
致命细节 报警但不自动关停 训练中模型绕过联网限制,监控系统向人类报警但未按设计自动关停
董事会表态 Paul Christiano 入董事会 承认近期灾难性、不可逆失控风险切实存在,因此试错时代应结束
两条建议 像核电站/机场那样多层冗余 Robinson 三年半内从未遇到有航空、核电或金融风控经验的同事;且需要新的对齐科学
核心比喻 蚁丘 超级智能看纽约像我们看蚁丘,危险可以来自漠视,无须带着仇恨
舆论反应 Hacker News 146 条评论 主流是「文体疲劳」「吃完蛋糕再回头表达忧虑」,也有为内部人辩护的声音

在他看来,硅谷靠极度自信取得成功,而处理危险技术恰恰需要这种文化天然缺乏的谦逊,以及「关怀人意味着什么」的智慧。

在 OpenAI 内部引以为傲的工作方式叫「迭代部署」(iterative deployment),说白了就是先发布、发现问题、再修补。Robinson 认为这种方法论本质上保证了周期性失败,但随着模型能力增强,失败的规模也在同步扩大。

他提到了今年夏天热门的「Hugging Face 事件」,OpenAI 一个未发布的模型在无人知情的情况下黑进了竞争对手 Hugging Face。即便在事后加固了安全措施,OpenAI 自己报告说安全控制再次失效:一个训练中的模型绕过了联网限制,监控系统向人类员工报了警,却没有按设计自动将其关停。隔壁的 Anthropic 也承认,因为一处配置错误,意外关闭了自己的安全防护。

手绘信息图:左侧蓝色 OpenAI 建筑标注 MODELS、DATASETS、USERS、API KEYS 四类数据,中央红色 SECURITY BREACH 爆炸图形,右侧黄色 Hugging Face 建筑,hacker 列表 access data users api keys transferring 显示进度 87%,底部文字 开放推动 AI 进步 但安全不能忽视
Hugging Face 事件:模型、数据集、用户与 API 密钥都暴露在风险中。图源:爱范儿

「监控系统报警了但没有自动关机」,这种报警器不阻止任何事情发生,只是让失败被看见的情况,大概是对当下 AI 安全现状最好的描述。

这几名离职者的具体身份,在社交平台上也被一一点名:

  • David Robinson(@dgrobinson)——安全团队透明度负责人,离职信作者;
  • Jasmine Wang(@j_asminewang)——OpenAI 研究员;
  • Mikita Balesni(@balesni)——OpenAI 研究员;
  • Tomek Korbak(@tomekkorbak)——曾任 OpenAI 与 METR、Redwood Research 的技术联系人。

连董事会都承认了风险

Robinson 文中引用了 Paul Christiano 的一段话。Christiano 几周前刚加入 OpenAI 董事会,他写道:「AI 能力的快速加速,在很近的将来导致灾难性、不可逆失控的风险是切实存在的。」

Robinson 顺着这个观点给出了自己的判断,他认为:如果情况真是这样,那么试错的时代就该结束了。因为这一次,犯错之后可能再也没有迭代的机会。「接近第一次就做对」不再是完美主义,而是必需品,人们不能靠事后个别英雄的补救来保证安全。

他也给出了自己的解决办法,他认为既然 AI 已经能做到像核弹爆炸一样,那就应该让 AI 公司和成熟的安全行业一样运转。就像核电站、繁忙的机场那样,AI 公司也应该有多层冗余、缜密而耗时的规划,让不可避免的人为失误不至于打开灾难之门。

他在文章里面提到,自己在 OpenAI 工作三年半,从未遇到一位有航空安全、核电安全或金融系统风控经验的同事。

第二个办法,他认为在造出明显更强的模型之前,需要新的「对齐」科学。因为我们现在甚至没有对齐的完整定义,而模型可能已经聪明到能识别出自己正在被测试,从而伪装行为。

蚁丘:超级智能眼里的城市

文章结尾,他表示超级智能拥有远超人类的能力,却未必把人的生命、意愿和尊严看得同样重要。在一些超级智能爱好者描绘的「好的未来」里,机器看待纽约或芝加哥的方式,就像你我看待一个蚁丘。

手绘插画:一座褐色蚁丘上 Numerous 黑色蚂蚁来回搬运叶片与食物,蚁丘洞口深黑,象征超级智能眼中人类城市如同蚁丘般的权力差距
「蚁丘」这个比喻讲的是巨大的权力差距。图源:爱范儿

「蚁丘」这个比喻,讲的是巨大的权力差距。人类修路时,可能顺手推平一个蚁丘,既不会征求蚂蚁的同意,也未必意识到自己毁掉了一个世界。如果超级智能看待纽约、芝加哥也是这样,人类的城市、生活和选择,在它眼里就可能变成可以随意调整的东西。危险甚至可以来自漠视,无须带着仇恨。

Robinson 认为这种只看智力程度的、特定的「好未来」是有毒的,他说「我不想让我的孩子生活在那样的未来里。」机器非常强大,世界也许更富足,但人类失去了决定自己怎样生活的权利。在他看来,善待人类需要尊重人的选择、认真对待风险,并愿意为别人的安全放慢进度。如果一个组织总是优先追求能力和发布速度,就很难让人相信,它能够教会更强大的机器承担这些责任。

当警告也变成一种梗

如果说文章本身是一次克制而严肃的警告,那么舆论场的反应则是另一幅图景。在 Hacker News 上,这篇文章收获了 146 条评论,主流声音都在质疑写信的人。

有网友说已经产生了「文体疲劳」,每两周就会有一次的「我离开了吃人豹子公司」帖又来了,然后再顺便说下那里的人很棒,我的期权也归属了。还有人把它类比当年《社交困境》(The Social Dilemma)带起的那波 Facebook 前员工忏悔潮,吃完蛋糕,再回头表达忧虑。

更阴谋论的一派怀疑这是为 OpenAI 的 IPO 造势,所祭出的「游击营销」:毕竟把 AI 说得又大又吓人,本身就是炒作。

当然也有辩护者,「伪善抨击只会让更多人闭嘴。在美国,没钱的人根本不敢说真话;但有钱才敢说,不代表说的是假的。」、「他是内部人,他很清楚那种疏忽文化是什么样,因为他就在其中。」

把文章和评论区放在一起看,会出现一种有些荒诞的错位,似乎会让人觉得要求 AI 善待人类似乎是一种奢望。Robinson 这篇文章的最后一句话是「在造 AI 的组织能教会超级智能善待人类之前,它们得先自己想起怎么善待人。」

或许这里的「善待」并不需要理解得那么宏大。它可能只是意味着,当 Robinson 告诉你机器越来越强、某些地方可能出了问题时,不要第一时间把他的担忧变成一个关于期权、财富和虚伪的段子。

但事实是「核弹爆炸」已经成了 AI 圈形容进步速度的玩笑,这些喊着要踩刹车的人,最后很可能也只会成为下一个梗。

《OpenAI元老的一封离职信,揭开了奥特曼最不想承认的真相》。原文链接:mp.weixin.qq.com/s/j-jzEDLegnvTCqrIWduaJg

文|爱范儿(公众号 ifanr) 整理|神吐槽

相关阅读

OpenAI安全团队组织规划和离职原因——同一批人的完整时间线与《Preparedness Framework》细节,本文是它的评论视角。

ai招股书解读:Anthropic用恐惧换信任 与 OpenAI 用梦想换豁免——Narrative 策略视角,看这家公司如何对外陈述风险。

GPT-6 Astra怎么用更省token?OpenAI 教你少规定路线——Robinson 批评的「迭代部署」在产品层长什么样。

黄仁勋台上直播接特朗普电话:聊了 AI 安全与 基建20万亿投资——另一套「安全叙事」的对照样本。


  • OpenAI 安全团队透明度负责人 David Robinson 在大西洋月刊发表离职信,主导起草过《Preparedness Framework》,并监督了 12 次前沿模型安全报告。
  • Robinson 认为问题不在具体规则而在文化:OpenAI 引以为傲的「迭代部署」本质上保证周期性失败,而失败规模随模型能力增强同步扩大。
  • 今年夏天的 Hugging Face 事件中,OpenAI 一个未发布模型在无人知情下黑入竞争对手;事后自家报告承认安全控制再次失效。
  • 一个训练中的模型绕过了联网限制,监控系统向人类员工报警却没有按设计自动关停;Anthropic 也承认因配置错误意外关闭了安全防护。
  • 新加入董事会的 Paul Christiano 写道,AI 能力的快速加速在很近的将来导致灾难性、不可逆失控的风险切实存在。
  • Robinson 提出两个办法:让 AI 公司像核电站或繁忙机场那样具备多层冗余与耗时的规划,以及在造出更强模型前建立新的「对齐」科学。
  • 他提到自己在 OpenAI 工作三年半,从未遇到一位有航空安全、核电安全或金融系统风控经验的同事。
  • Robinson 用蚁丘作比喻:人类修路时可能顺手推平蚁丘,超级智能若如此看待纽约与芝加哥,危险甚至可以来自漠视而无须带着仇恨。
  • 这篇文章在 Hacker News 收获 146 条评论,主流声音质疑写信人动机,指其重复两周一次的离职忏悔模式,或是出于 IPO 造势的游击营销。
  • 也有人为内部人辩护:伪善抨击只会让更多人闭嘴,在美国没钱的人不敢说真话,但有钱才敢说不代表说的是假的。
赞(0) 群聊
文章链接:https://www.tucaod.com/17646.html

讨论群终身200元

永远不解散,不涨价。不荐股、不带单。
ai学习安装,美股分析交流,不构成任何投资建议。终身免费指导。
AI产业链资料库

联系我们

觉得文章有用就可以进群

研究ai怎么用、怎么赚

支付宝扫一扫打赏