OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕

admin 6个月前 (05-19) 7 0

扫一扫用手机浏览

文章目录 [+]

不同于苏茨克维(Ilya Sutskever)离职时候的礼貌告别——“我相信OpenAI将在阿尔特曼等人的带领下构建既安全又有益的AGI”,以及阿尔特曼温情脉脉的说辞——“这让我很难过……他(Ilya Sutskever)有一些个人意义重大的事情要去做,我永远感激他在这里所做的一切”。

  最新离职的OpenAI高管,超级对齐团队负责人Jan Leike直接撕破脸皮,揭露离职内幕——阿尔特曼不给资源、力推商业化不顾安全

  Leike同时也是OpenAI的联合创始人,属于“保守派”阵营,他在Sutskever宣布离职后仅几个小时就发帖:我辞职了。

image

  官宣离职次日,Leike连发十多条帖子,公开解释了离职原因——

  团队分配不到足够的资源:超级对齐团队过去几个月一直在“逆风航行”,在计算上很吃力,完成研究越来越困难;

  安全并非阿尔特曼的核心优先事项:过去几年,安全文化和流程已经让位于更耀眼的产品。“很长一段时间以来,我与OpenAI领导层对公司核心优先事项的看法一直不合,直到我们终于到了临界点。”

image
image

  这是OpenAI高管级别的人物首次公开承认公司重视产品开发胜过安全。

  阿尔特曼的回应依旧体面,他表示,自己非常感谢JanLeike对OpenAI的一致性研究和安全文化所做的贡献,并且很遗憾看到他离开。“他说得对,我们还有很多事情要做,我们致力于做到这一点。我将在未来几天内发布一篇更长的帖子。”

image

  ▍投资未来?不阿尔特曼选择把握现在

  OpenAI的超级对齐团队于2023年7月成立,由Leike和Sutskever领导,成员为OpenAI前校准部门的科学家和工程师以及来自公司其他机构的研究人员,可以说是一帮技术人员组成的团队。该团队旨在确保人工智能与其制造者的目标保持一致,目标是在未来解决控制超级智能AI的核心技术挑战,“解决如果公司成功构建AGI,实际上会出现不同类型的安全问题。”

  也就是说,超级对齐团队是在为更强大的AI模型、而非当下的AI模型打造安全罩

  正如Leik所说,“我相信我们应该投入更多的精力来为下一代模型做好准备,关注安全性、监控,做好准备、让AI具有对抗性的鲁棒性、(超级)对齐,关注保密性、社会影响等相关主题。这些问题很难做对,我很担心我们没有朝着正确的方向前进。”

  Leik还指出,虽然目前超智能AI看似遥远,但可能在本十年内出现,管理这些风险需要新的治理机构和对齐技术,从而确保超智能AI系统遵循人类意图。

  站在阿尔特曼的立场,维护超级对齐团队是一项庞大的开支。OpenAI曾经承诺该团队将获得该公司20%的计算资源,这势必会削弱OpenAI新产品开发的资源,而投资超级对齐团队实际是在投资未来。

  据OpenAI超级对齐团队的一位人士透露,20%计算资源的承诺被打了折扣,其中一小部分计算的请求经常被拒绝,这阻碍了团队的工作。

  ▍超级对齐团队解散然后呢?

  据《连线》等媒体报道,在Sutskever和Leike相继离职后,OpenAI的超级对齐团队已被解散。其不再是一个专门的团队,而是一个松散的研究小组,分布在整个公司的各个部门。OpenAI的一位发言人将其描述为“更深入地整合(团队)”。

  有消息称OpenAI的另一位联合创始人约翰舒尔曼(John Schulman)可能会接手关于与更强大模型相关的风险的研究。

  这不免让人质疑,Schulman目前的工作任务在于确保OpenAI当前产品的安全,他会重点盯着面向未来的安全团队吗?

  阿尔特曼另一被人诟病的地方在于“捂嘴”离职员工

  自去年11月至今,OpenAI至少有7名注重安全的成员辞职或被开除,但离职员工大多不愿公开谈论此事。

  据Vox报道,部分原因是OpenAI会让员工在离职时签署带有非贬低条款的协议。如果拒绝签署,就将失去此前拿到的OpenAI的期权,这意味着出来说话的员工可能会损失一笔巨款。

  一位OpenAI前员工爆料,公司入职文件说明中包含一项:“在离开公司的六十天内,你必须签署一份包含‘一般豁免’的离职文件。如果你没有在60天内完成,你的股权获益将被取消。”

image

  阿尔特曼变相承认了此事,他回应称,该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款,但从未付诸实践,“我们从未收回任何人的既得股权。”他还表示,公司正在修改离职协议条款,“如果任何签署了这些旧协议的前雇员对此感到担心,他们可以联系我。”

image

  回到OpenAI高层争执的原点,也是这场旷日持久的宫斗的核心矛盾点——“保守派”强调先安全再产品,“盈利派”希望尽快落实商业化。

  OpenAI将如何平衡产品的安全性与商业化?如何挽回愈发糟糕的公众形象?

  期待阿尔特曼未来几天内的“小作文”。


相关文章

发表评论