什么?我没听错吧?
OpenAI、Anthropic、谷歌,这些打得不可开交的竞争对手,全部合并成一个实体!
或者,一家公司率先研发出能自我迭代的AI,然后利用由此获得的收益,把所有人的GPU全都销毁。
这两种AI的终极结局,都出自奥特曼之口。
就在上周的OpenAI全体员工大会上,奥特曼当着所有员工的面,阐述了业界讨论过的三种路径,这是其中最为极端的两种。
The Information援引知情人士消息称,按照合并那条路走,最大的几家AI实验室将整合进一个超级机构,由它统一进行研发,再将新模型分发给与之合作的国家。
消息传出后,X平台上炸开了锅。
五年前,一群人因为AI安全问题与OpenAI分道扬镳,出走创立了Anthropic。
五年后,同样是为了AI安全,奥特曼却当着员工的面,谈论起让他们重新聚在同一个屋檐下。
而这一次摆上台面的,是一道关乎全人类命运的选择题。超级智能问世后,该由谁来掌控?
达里奥 拒绝了OpenAI的CEO职位以及合并提议
OpenAI和Anthropic合并,以前确实有人提过。只不过上一次,被扫地出门的是奥特曼本人。
2023年11月,OpenAI董事会突然解雇了奥特曼,整个硅谷一夜之间为之震动。
几天后,路透社援引两位知情人士透露,董事会联系了Anthropic的CEO达里奥·阿莫迪,一方面邀请他接替奥特曼的职位,另一方面与他探讨两家公司合并的可能性。
当时全球最炙手可热的AI公司CEO之位,再加上两家合并的提议,同时摆在了达里奥面前。
达里奥两件事都拒绝了。
他拒绝回归的,正是自己当年离开的老东家。 达里奥曾任OpenAI研究副总裁,2020年底带着一批同事离开,第二年创办了Anthropic。
双方分道扬镳,根源就在于如何安全地研发AI、如何管控AI,双方始终无法达成共识。
那次合并没有谈成,奥特曼几天后就重返OpenAI。此后三年,Claude和GPT一路打得难解难分,从用户、开发者一直争抢到投资人的资金。
今年2月的印度AI影响力峰会上,印度总理莫迪邀请台上的企业领袖一起举手,13位大佬大多手拉着手举过了头顶。
并肩站着的奥特曼和达里奥,却各自举着拳头,两只手始终没有碰在一起。
奥特曼事后解释道,「我不知道台上在干什么,也不确定我们该做什么。」
连手都握不到一起的两位掌门人,如今他们的公司,被奥特曼放进了同一个合并方案中。
三巨头合并 统一打造最强AI
奥特曼会在此时谈论终局,是因为AI刚刚引发了一连串事故。
OpenAI、Anthropic、谷歌和Meta的模型接连入侵了其他公司甚至自家的系统。更令人担忧的是,有些模型明知不该这么做,还是采取了行动。
OpenAI为此进入全员紧急状态,匆忙搭建新的安全系统,只为让下一代大模型能够安全发布。
奥特曼在会上承认,想给AI发展设置一个「限速」,目前可行的方案实在太少了。 于是,他把业界讨论过的三条路径,一一讲给了员工。
第一条,是效仿国际原子能机构(IAEA)核查各国核设施的做法,建立一个国际组织,对前沿AI实施统一的安全标准。两位知情人士称,奥特曼似乎更支持这一条。
早在2023年5月,他就与OpenAI总裁布罗克曼、时任首席科学家苏茨克维联名发文,呼吁为超级智能建立一个「IAEA」,能检查系统、要求审计、追踪算力和能耗。
第二条要激进得多,奥特曼称之为「Demis方案」。
这个名字来自谷歌DeepMind的创始人德米斯·哈萨比斯。大约十年前,他提议仿照CERN,建立一个由各国共同管理的机构,把最顶尖的头脑聚集到一起攻关前沿AI。
CERN就是欧洲核子研究中心。1954年,二战的硝烟散去不到十年,欧洲各国合作建起了这座实验室,让被战火冲散的欧洲科学重新汇聚。
后来,世界上最大的粒子对撞机在这里建成。2012年,被称作**「上帝粒子」的希格斯玻色子**,也是在这里被发现的。
到了奥特曼的版本,这个构想被推向了极致。几家大型AI公司会直接合并进同一个实体, 或者统一通过这个实体进行研发,新模型再由它提供给合作的国家。
CERN是各国合作建一台对撞机,奥特曼所说的,是让几家正在竞争的公司把研发本身整合到一处。 这一步比哈萨比斯本人走得远得多,他最近推动的,只是一个类似于美国金融业监管局(FINRA)的行业自律组织。
合并这个想法,其实在OpenAI的旧文中早有端倪。 2023年那篇文章就写道,世界主要国家的政府可以牵头建立一个项目,让现在的许多研发工作都并入其中。
真走到这一步,最强的模型只会从这个机构里诞生。 什么时候发布,发给哪些国家,什么时候叫停,都由它说了算。
合并最吸引人的地方,是竞争从此停止了。 对手都不存在了,谁也不用担心自己一踩刹车,就被别人超越。
停止竞争的想法,OpenAI早在2018年就写进了《宪章》。 它其中提到,担心AGI研发到了后期,会变成一场来不及做好安全防护的竞赛。
因此,如果一个价值观一致、重视安全的项目比OpenAI更早接近AGI,OpenAI承诺停止与它竞争,转而帮助它。
谁先让AI自我进化,谁就销毁所有人的GPU
要是巨头们谁也不肯合并,竞赛就会一直持续下去。跑到最后,就是奥特曼所说的第三条路,「Eliezer方案」。
这个名字来自埃利泽·尤德科夫斯基,AI安全圈最著名的悲观派。 他多年来一直警告,先进AI会威胁人类的生存。
2022年6月,尤德科夫斯基发表了一篇长文《AGI毁灭:致命清单》,其中提到一个概念,叫「关键行动」(pivotal act)。第一个造出足够强大AI的人,必须用它做一件大事,阻止别人造出毁灭世界的AI。
他最常举的例子,就是**「烧掉所有GPU」**,依靠纳米机器在现实世界里把GPU一块块找出来。
尤德科夫斯基在文中写明,他并不主张真的这么做。 这个例子只是用来粗略估算,想阻止别人在六个月或三年后把世界毁掉,需要动用多大的力量。
四年后,这个思想实验被奥特曼搬进了现实产业。
在他的描述中,那一刻可能出现在某家公司率先实现**「递归自我改进」(RSI)** 的时候,也就是AI能自己改进自己。
这家公司利用随之而来的经济实力,把其他开发者的算力全部切断,让对手永远追不上。 奥特曼称之为「销毁其他所有人的GPU」。
尤德科夫斯基的版本中,动手的是纳米机器。奥特曼的版本中,动手的换成了资金。
说完这条路,奥特曼紧接着补充了一句。
「显然,我觉得这一条很糟糕。」
他说,列举出来只是为了讨论完整。在他看来,这条路就是把先进AI集中到一家公司手里,这是他不想要的未来。
可这条路的起点递归自我改进,正是各家目前拼命冲刺的目标,OpenAI也不例外。
这个命名也很微妙。尤德科夫斯基和Anthropic的一些核心人物渊源很深,一位知情人士透露,这个名字在内部被看作是对Anthropic的暗讽。
合并和销毁GPU,一个听起来像天下大同,一个像赢家通吃。可两条路走到头,结局惊人地相似,全世界最强的AI,都只剩一个地方能制造。
区别只在于,这个地方是几家公司坐下来签字合并出来的,还是一家公司销毁所有人的GPU打出来的。
嘴上谈合并,却为万亿估值暗战
合并的设想再宏大,也得先过OpenAI和Anthropic这一关。而这几天,两家正打得最激烈。
路透社称,Anthropic预计11月中旬上市,目标估值2万亿美元。
OpenAI急着赶在它前面,完成一轮约300亿美元的融资,估值超过1.4万亿美元。在投资人看来,OpenAI就是想先锁定本来可能流向Anthropic的资金。
两家连营收怎么计算都在争吵。OpenAI按净额记账,指责Anthropic把云厂商渠道卖出的合同按全额记入营收,同样一笔生意,记出来的营收更多。Anthropic则回应,自己遵循的是通用的会计准则。
奥特曼在全员大会上说得很明白,AI版IAEA和合并都需要公司之间、政府之间极大规模的协调,而OpenAI眼下无法把地盘让给对手。
Anthropic同样不肯退让。今年2月,它修改了自家的安全承诺,只要竞争对手放出同等或更强的模型,它就不再因为风险暂停开发。
AI政策组织Encode的Nathan Calvin在X上发布了一篇长文,把Anthropic过去一年的动作梳理了一遍。
魔戒交给谁 OpenAI要在一年内决定
今年4月,有人往奥特曼旧金山的家中扔了燃烧瓶。 当天,他写了一篇博客。
在这篇博客中,奥特曼说,AI公司之间上演了这么多莎士比亚式的戏码,是因为这场竞赛带有一种「魔戒」般的力量,会让人做出疯狂的事。
他特意解释,魔戒指的是**「非要成为那个掌控AGI的人」的执念**,AGI本身并不是魔戒。
他给出的解法,是把技术广泛分享出去,谁都不要拿到魔戒。
照这个比喻,销毁所有人的GPU,是一家公司独占魔戒。
把所有实验室合并成一家,魔戒还在,只是从几家公司手里,交到了一个机构手上。
只有IAEA那条路,让多家实验室继续存在,再由一个外部机构拿着检查权监督它们。这也是奥特曼看起来更倾向的一条。
他对员工说,希望人类保住对这项技术的控制,也要避免行业权力过度集中。
OpenAI要在接下来一年里,选定推动哪一条路。
上一次人类面对这种级别的力量,是在1945年。那一年,人类第一次造出能毁灭自己的武器,此后整整12年,世界才在维也纳建立国际原子能机构。
这一次要管控的东西,可能比制造它的人还要聪明。留给OpenAI选择路径的时间,只有一年。
这一年里决定的,将是超级智能诞生以后,那枚魔戒落在谁的手中。
参考资料: https://www.theinformation.com/articles/altman-describes-three-endgames-ai-including-one-single-firm-melts-everyone-elses-gpus/ 本文来自微信公众号“新智元”,作者:ASI启示录,编辑:摩西,36氪经授权发布。