直达期货

OpenAI去职潮中，又一研究员官宣去职，而且还发出了“忠告”信息：

Ilya和Jan Leike的担忧正是我的担忧，另有一些分外的问题。

我们需要做更多事来改善决议流程等基础性的事务，包罗问责制、透明度、文档、战略执行、若何郑重使用手艺，以及减轻不同等、权力和环境影响的措施。

主人公名叫Gretchen Krueger（简称格姐），是OpenAI的AI战略研究员。

她在2019年加入OpenAI，介入过GPT-4和DALL·E 2的开发事情，还在2020年向导了OpenAI*个全公司局限的“红队”测试。

此番出走，除了提到OpenAI的决议透明度问题，她还隐约示意：

一样平常来说，科技公司剥夺那些追求追究其责任的人的权力的方式之一，就是在那些提出担忧或挑战其权力的人之间制造盘据。我异常体贴防止这种情形发生。

算上Ilya和Jan Leike，格姐已经是这个月第3位从OpenAI脱离的平安相关职员——她提交辞呈照样在Ilya和Jan Leike确认去职之前。

本月第3位去职的OpenAI平安成员

先来简朴回首整个事情。

格姐是OpenAI的AI战略研究员，关于这个岗位的职责，有网友帮人人在谈论区科普了。

由于感受到OpenAI存在伟大平安风险，格姐于5月14日通知公司自己即将去职。

在这之后，OpenAI首席科学家Ilya正式宣布他将脱离公司去追求“下一个设计”。

紧随Ilya去职的，另有斥责OpenAI“产物优先于平安”的超级对齐认真人Jan Leike。

那么，到底是什么风险使得格姐早就想跑呢？

总结下来实在很简朴，但也很要害：OpenAI在平安问题决议上不够透明且缺乏对决议人的问责。

（AI透明度等）问题对所有人都很主要，它们影响着未来若何被设计、由谁来设计。

我想强调的是，这些担忧不应该被误读为狭隘、投契或脱节的。它们并非云云。

另外，格姐还特意提及了为了保留对OpenAI的指斥权、放弃85%家庭资产的OpenAI前员工Daniel Kokotajio，示意谢谢他的勇气，使她有时机说出想说的。

此前，OpenAI被曝去职需签封口协议，“不签字就会影响股权”。

这件事的最新希望由格姐的另一位前同事Jacob Hilton曝出：

在Vox的深度观察揭晓之后，OpenAI已经联系了前员工们，排除了此前签署的保密协议。

回到平安的话题上，格姐照样给老东家保留了体面：

湖北创投新纪元开启 首届“长江创投日”正式启幕

OpenAI仍在向导这些主要的事情。我也将继续对此保持关注和兴奋。

不外格姐的出走，照样引发更多网友的好奇：

当Ilya等人还在的时刻，OpenAI若何决议重大平安问题？

当一批主要平安成员脱离后，OpenAI当前又若何决议平安问题？

谁决议OpenAI的平安蹊径？

在关注谁握有最终决议权之前，我们先来看看OpenAI的平安团队有哪些。

从官网宣布的信息来看，OpenAI现在的平安团队主要分为三大块。

超级对齐团队：拿出20%总算力，瞄准若何控制还不存在的超级智能

Safety Systems团队：专注于削减现有模子和产物（例如ChatGPT）的滥用

Preparedness团队：绘制前沿模子的新兴风险

首先，作为焦点的超级对齐团队由Ilya和Jan Leike在2023年7月提议。

效果不到1年，两位灵魂人物接连出走，超级团队支离破碎。

其次，Safety Systems确立于2020年，该团队下面有4个部门，包罗平安工程团队、风险治理团队、监控与响应团队以及政策与合规团队。

它曾认真了GPT-3和GPT-4的平安性评估。

当初向导它的Dario Amodei，厥后脱离OpenAI开办了Anthropic。

而且Dario Amodei之以是去职，缘故原由恰恰在于想确立一个更可信的模子。

最后，OpenAI于2023年10月宣布确立Preparedness团队。

该小组由麻省理工可部署机械学习中央主任Aleksander Madry向导，旨在“跟踪、展望和提防未来人工智能系统的危险”，包罗从AI“说服和诱骗”人类的能力（如网络钓鱼攻击），到恶意代码天生能力。

现在该团队主要举行模子能力评估、评价和内部红队（即对模子举行渗透测试的攻击方）。

说了这么多，但——

不管OpenAI有若干平安团队，其风险评估的最终决议权仍掌握在向导层手中。

宫斗风浪之前，OpenAI焦点治理团队中共有四名成员：CEO Sam Altman、总裁Greg Brockman、首席科学家Ilya Sutskever、CTO Mira Murati。

虽然一最先Ilya发动“宫变”让Sam Altman短暂下台，但很快奥特曼“熹妃回宫”，反而是Ilya“消逝”了6个月。

且回归后的Sam Altman身边基本都是自己人了，包罗最新顶替Ilya的Jakub。

不外关于平安问题的决议权，虽然向导层是决议者，但董事会拥有推翻决议的权力。

现在OpenAI的董事会成员包罗，Salesforce配合首席执行官、董事会主席Bret Taylor，经济学家Larry Summers、Quora首席执行官Adam D’Angelo、前比尔及梅琳达·盖茨基金会CEO Sue Desmond-Hellmann、前索尼娱乐总裁Nicole Seligman、Instacart首席执行官Fidji Simo以及奥特曼本人。