摘要:Maureen 想知道 Mr. Musk 对 Mr. Zuckerberg 的一些公开言论有什么反应,尤其是他们之间的访谈之后。
麻木尔 霍元甲 发自 AI星舰指挥中心
上回说到OpenAI的创立过程,现在让我们继续梳理剩下的邮件,看看接下来发生了什么。
主题:关于Maureen Dowd的回复
Sam Teller收到了Alex Thompson的这封电子邮件,并将其转发给Elon Musk - 2016年4月27日 上午7:25
Hi Sam
我希望你今天过得很好,我为打扰你而提出另一个问题表示歉意。
Maureen 想知道 Mr. Musk 对 Mr. Zuckerberg 的一些公开言论有什么反应,尤其是他们之间的访谈之后。
特别是,Mr. Zuckerberg 把 Mr. Musk 描述为对人工智能有“歇斯底里”的恐惧,并批评那些“制造恐慌”的人关于人工智能的危险。我下面附上了 Mr. Zuckerberg 的更多言论细节。
近期在德国被问及Musk的忧虑,Zuckerberg称它们为“歇斯底里的”,并赞扬了人工智能突破,包括他声称的一个系统,该系统可以在手机上对皮肤病变进行癌症诊断,准确度与“最好的皮肤科医生”相当。
“除非我们真的搞砸了什么,”他说,“机器永远会服从,而不是‘超人’。”
"我认为我们可以构建人工智能,使其为我们工作并帮助我们...有些人对人工智能是巨大危险的言论感到恐慌,但在我看来这似乎过于牵强,远不如普遍疾病、暴力等导致的灾难的可能性大。" 或如他在四月的 Facebook 开发者大会上所阐述的哲学:“选择希望而非恐惧。”
Alex Thompson
纽约时报
Elon Musk 发给 Sam Teller - 2016年4月27日 下午12:24
历史毫无疑问地证明,强大的技术就是一把双刃剑。
认为人工智能,这可能是所有技术中最强大的技术,只有一把刃,这是愚蠢的。
最近微软人工智能聊天机器人的例子表明,它们很快就可以变得极度负面。
明智的做法是小心翼翼地迎接人工智能的到来,并确保其力量被广泛分配,不被任何一家公司或个人控制。
这就是我们创建OpenAI的原因。
主题:微软托管协议
Sam Altman 发给 Elon Musk(抄送:Sam Teller)- 2016年9月16日 下午2:37
以下是微软的条款。
6千万美元的计算服务仅需1千万美元,并且我们可以提供关于他们在云部署内容的建议。
如果您有任何反馈,请告诉我。
Elon Musk 发给 Sam Altman(抄送:Sam Teller)- 2016年9月16日 下午3:10
这让我感到恶心。这个提议很烂,而且正是我预料中的情况。
评估、推广和使用CNTK v2、Azure Batch和HD-Insight:OpenAI将评估CNTK v2、Azure Batch和HD-Insight,并为微软提供关于如何改进这些产品的反馈。
OpenAI将与微软合作,在他们的研究和开发者生态系统中推广这些产品,并将微软Azure作为首选的公共云服务提供商进行推广。在他们独自的判断下,并根据他们的研究需求,OpenAI将采用这些产品。
我们可以说,我们愿意接受微软为OpenAI捐赠闲置的计算时间,并让这一点为人所知,但是我们不想签署任何合同或同意“推广”。
他们可以随时停止我们的服务,我们也可以随时离开。
Sam Altman 发给 Elon Musk(抄送:Sam Teller)- 2016年9月16日 下午 3:33
阅读那一部分后,我也有同样的反应,他们已经同意取消了。
我们最初只想要捐赠的计算资源,但是团队希望能够获得更确定的计算能力保证。但是我会与微软合作,确保没有任何附加条件。
Elon Musk 发给 Sam Altman(抄送:Sam Teller)- 2016年9月16日
我们应该低调地处理这件事。没有任何确定的承诺,没有合同。
Sam Altman 发给 Elon Musk(抄送:Sam Teller)- 2016年9月16日 下午6:45
好的,我去看看能不能在这个方向上争取到一些钱。
Sam Teller 发给 Elon Musk - 2016年9月20日 晚上8:05
微软现在愿意以5000万美元的价格签署协议,条件是OpenAI在独自判断下进行“善意努力”,并且双方都有全面的终止协议权,可以随时终止协议。
没有推广要求,没有任何附加条件,没有被当作微软的市场营销工具。
可以继续吗?
Elon Musk 发给 Sam Teller - 2016年9月21日 凌晨12:09
如果他们不将这件事作为积极的宣传信息,我也无所谓。
避免被视为微软的宣传工具的价值远远超过5000万美元。
主题:双周更新
Ilya Sutskever 发给 Elon Musk, Greg Brockman - 2017年7月20日 下午1:56
机器手现在可以在仿真环境中解开魔方:
实体机器人将于9月实现相同功能。
1对1机器人不再有可被利用的漏洞
它不再能被使用“非传统”的策略击败
在一个月内有望击败所有人类对手
竞技机器人(运动型)
发布了一种能同时从所有角度欺骗摄像头的对抗示例:
DeepMind直接使用了我们的算法来产生他们的跑酷结果
我们的博客文章关于我们的算法:https://blog.openai.com/openai-baselines-ppo/ (DeepMind使用的是旧版本)
即将到来:
设计盈利结构
与 Cerebras 协商合并条款
更多关于 Cerebras 的尽职调查
主题:OpenAI纪要
Shivon Zilis 发给 Elon Musk(抄送:Sam Teller)- 2017年8月28日 凌晨 12:01
Elon,
如我之前所说,Greg要求讨论一些事情,Ilya也加入了。
他们几乎分享了所有他们仍在思考的问题。这是对他们对话的总结...... 共有7个未解答的问题,以下是他们的评论。
请注意,我不支持任何这些观点,只是梳理和分享我听到的信息。
1. 短期控制结构?
-是否需要绝对控制权?他们想知道是否存在一种场景,在这种场景中,如果所有其他人都不同意方向(不仅仅是他们三个人,而是可能是一个更广泛的董事会),是否可以有一种创造性的覆盖规定?
2. 控制期限和过渡?
-*不可谈判的条件* 似乎是铁板钉钉的协议,即如果创造了通用人工智能(AGI),就不能让任何一个人拥有对它的绝对控制权。
满足这一点意味着,无论对他们三个人发生什么,都能保证在最初的2-3年期限之后,公司的权力将被分散。
3. 投入的时间?
-Elon希望在这上面花费多少时间?他实际上能在这上面花费多少时间?在什么时间框架内?是每周一小时、十小时,还是介于两者之间?
4. 如何利用投入的时间?
-他们不知道Elon在其他公司如何利用时间,以及他想如何利用时间在这上面。
Greg和Ilya相信,他们可以很好地打造出软件和机器学习方面的内容。但是,他们对硬件方面没有信心。
他们似乎希望Elon可以在硬件方面投入一些时间,因为这是他们的弱点,但是,他们也希望他在所有感兴趣的领域提供帮助。
5. 投入时间与控制权的比例?
-他们可以接受花费较少时间/控制权较少的比例,也可以接受花费更多时间/控制权更多的比例,但不接受花费较少时间/控制权更多的比例。
他们的担忧是,如果投入的时间太少,可能没有足够的时间讨论相关的背景信息以做出正确的决策。
6. 股权分配?
-Greg仍然本能地认为应该按等份分配股权。我个人不同意他的这种想法,他要求并且愿意听取其他观点来重新调整他的思维模型。
-Greg指出,Ilya在某种程度上已经通过放弃在Google的潜在收入贡献了数百万美元。
-他们的一个担忧是拟议的员工池太小。
7. 资本化策略?
-他们的本能是想一开始就筹集远远超过1亿美元的资金。
他们认为光是所需的数据中心的成本就可能超过1亿美元,因此他们觉得筹集更多资金会让他们感到更安心。
要点:
不确定这些条件是否可行,但仅仅通过听取他们抛出的所有点,可以得出以下结论,足以满足他们当前的关键问题:
Elon Musk 发给 Shivon Zilis(抄送:Sam Teller)- 2017年8月28日 凌晨12:08
这真的很烦人。请让他们自己去创办公司。我受够了。
主题:真实的想法
Ilya Sutskever 发给 Elon Musk, Sam Altman(抄送:Greg Brockman, Sam Teller, Shivon Zilis)- 2017年9月20日 下午2:08
Elon,Sam,
这次对话对于Greg和我来说,是我们参加过的赌注最高的对话,如果项目成功,这将会是世界上赌注最高的对话。这也是一次我们每个人都非常私人的对话。
昨天,当我们正在考虑根据非竞业协议做出最终承诺时,我们意识到我们犯了一个错误。我们有几个重要的担忧,我们没有与你们中的任何一个分享。我们没有提出这些担忧,因为我们害怕这样做:我们害怕损害关系,让你们对我们评价降低,或者失去你们这些合作伙伴。
有可能我们的担忧会证明无法解决。我们真的希望不是这样,但我们知道,如果不现在大家共同讨论,我们肯定会失败。我们有希望能够解决这些问题,并继续一起工作。
Elon:
我们真的很想与您合作。我们相信,如果我们携手合作,我们在任务中成功的可能性最大,我们的潜力也是最高的。这毫无疑问。我们与您合作的渴望如此之大,以至于我们愿意放弃股权,个人控制权,让自己变得容易被解雇——只要能与您合作,我们愿意付出任何代价。
但我们意识到,在思考控制对世界的影响时,我们的想法过于轻率。因为它看起来如此自大,我们没有认真考虑成功的后果。
当前的结构为你提供了一条路径,最终你会获得对 AGI 的单方面绝对控制权。你曾表示不希望控制最终的 AGI,但在这一轮谈判中,你向我们展示出绝对控制权对你来说极其重要。
例如,你说你需要成为新公司的 CEO,这样每个人都会知道你是负责人,尽管你也表示你讨厌当 CEO,宁愿不做 CEO。
因此,我们担心,当公司真正向 AGI 迈进时,你会选择保留对公司的绝对控制权,尽管目前的意图并非如此。我们不同意你所说的,我们离开的能力是我们最大的力量,因为一旦公司真正走上 AGI 的道路,公司将比任何个人都更为重要。
OpenAI的目标是让未来变得美好,避免出现 AGI 独裁。你担心 Demis 可能会创建一个 AGI 独裁,我们同样有这样的担忧。因此,创建一个你选择后可能成为独裁者的结构是不明智的,尤其是考虑到我们能够创建避免这种可能性的其他结构。
我们有一些较小的顾虑,但我们认为在这里提及它是有用的:
如果决定收购 Cerebras,我的强烈感觉是,这将通过特斯拉完成。但如果从 OpenAI 内部进行,为什么还要选择这种方式?具体来说,特斯拉有责任最大化股东回报,这与 OpenAI 的使命不一致。因此,最终结果可能对 OpenAI 并不理想。
我们相信,非营利组织OpenAI之所以成功,是因为你和Sam都参与其中。Sam作为一个真正的制衡力量,起到了极大的作用。这对我们来说非常有价值。Greg和我,至少到目前为止,对你来说是一个糟糕的制衡力量。我们觉得这甚至在这次谈判中得到证实,我们准备将长期的人工智能控制问题搁置一边,而Sam却坚持自己的立场。
Sam:
当Greg和我陷入困境时,你总是有一个答案,最终证明是深刻而正确的。你对这个问题的解决方法进行了非常深入和全面的思考。Greg和我理解技术执行,但我们不知道结构决策在接下来一个月、一年或五年后会如何展开。
但是我们无法完全信任你的判断,因为我们不了解你的决策成本函数。
我们不理解为什么CEO的职位对你来说那么重要。你给出的原因已经改变了,我们很难真正理解是什么驱动了你的这种需求。
你是真的以AGI为首要动机吗?它如何与你的政治目标相连接?你的思维过程随着时间的推移如何变化?
Greg and Ilya:
在这次谈判中,我们也有自己的失误,我们会在这里列出一些(我相信Elon和Sam,你们肯定有很多可以补充……):
在这次谈判中,我们意识到,我们让两年到三年后可能获得的财务回报驱动了我们的决策。这就是我们没有坚持控制权的原因——我们认为我们的股权已经足够好,所以何必担心呢?但这种态度是错误的,就像那些不认为 AI 安全是一个问题的 AI 专家一样,他们并不真正相信自己会开发出通用人工智能(AGI)。
我们在谈判中没有说出我们的全部真相。我们有我们的借口,但这对过程造成了损害,我们可能会因此失去Sam和Elon。
这里有足够多的包袱,我们认为对于我们来说,坐下来讨论非常重要。如果我们不这样做,我们的合作就不会成功。我们四个人今天能见面吗?如果我们说出真相,解决问题,未来我们要建立的公司将更有可能抵抗将要面临的强大力量。
- Greg & Ilya
Elon Musk 发给 Ilya Sutskever(抄送:Greg Brockman, Sam Teller, Shivon Zilis)- 2017年9月20日 下午2:17
各位,我受够了。这已经是最后的底线。你们要么自己去做点什么,要么继续以非营利组织的方式运营OpenAI。
除非你们对我承诺坚定地留下来,否则我不会再为OpenAI提供资金,我才不会成为一个傻瓜,为你们创办一家初创公司提供免费资金。讨论到此结束。
Elon Musk 发给 Ilya Sutskever(抄送:Greg Brockman, Sam Teller, Shivon Zilis)- 2017年9月20日 下午3:08
为了明确起见,这不是要求接受之前讨论的内容的最后通牒。那已经不在讨论范围内了。
Sam Altman 发给 Elon Musk, Ilya Sutskever(抄送:Greg Brockman, Sam Teller, Shivon Zilis)- 2017年9 月21日 上午9:17
我对非营利结构保持热情!
主题:非营利
Shivon Zilis 发给 Elon Musk(抄送:Sam Teller)- 2017年9月22日 上午9:50
Hi Elon,
快速通知一下,Greg 和 Ilya 说他们希望继续采用非营利组织的结构。他们知道这需要他们提供保证,不会去做其他事情。
还没有和 Altman 交谈过,但他要求今天下午谈话,所以我会报告我听到的任何信息。
如果我能做些什么,请告诉我。
Elon Musk 发给 Shivon Zilis(抄送:Sam Teller)- 2017年9月22日 下午5:54
Ok.
Shivon Zilis 发给 Elon Musk(抄送:Sam Teller)- 2017年9月22日 下午5:54
Altman的点,
Shivon
主题:ICO
Sam Altman 发给 Elon Musk(抄送:Greg Brockman, Ilya Sutskever, Sam Teller, Shivon Zilis)- 2018年1月21日 下午5:08
Elon—
提醒一下,我刚刚和安全团队的一些成员交谈过,他们对ICO表示出了很多担忧,并担心可能会在未来产生意想不到的影响。
计划明天和整个团队讨论,并邀请他们提出意见。我会强调保密的重要性,但我认为真正重要的是获得他们的支持,并给人们一个早期参与的机会。
Sam
Elon Musk 发给 Sam Altman(抄送:Greg Brockman, Ilya Sutskever, Sam Teller, Shivon Zilis)- 2018年1月21日 下午5:56
完全同意。
获取原始文件:
如需获取77份法庭原始文件,请在本公众号对话框中回复"法庭原始文件"。
来源:AIStarship