通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  三级军士长

注册:2007-10-294
跳转到指定楼层
1#
发表于 2024-12-21 08:44:16 |只看该作者 |倒序浏览
  • 克雷西 发自 凹非寺
    量子位 | 公众号 QbitAI
OpenAI又跑了一名大神!

The Information消息,初代GPT论文第一作者Alec Radford也要离开OpenAI,转向独立研究。





据了解, Alec于2016年加入OpenAI,从初代GPT到GPT-4o的论文中全都有他的名字,其中前两代还是第一作者

另外OpenAI的多模态模型CLIP,还有语音识别模型Whisper,论文一作也都是Alec。

对于Alec的离开,OpenAI研究负责人Mark Chen表示,“我们对Alec和他的贡献深表敬意和赞赏,并期待在他探索独立研究的过程中继续与他合作。”

之前,前任研究团队负责人Jeff Clune(已于2022年离开OpenAI,现在是不列颠哥伦比亚大学副教授,同时给DeepMind担任顾问)还对Alec给予过很高的评价,认为Alec是影响力最大但知名度最低的AI科学家之一

甚至在Jeff看来,Alec应该作为“现代生成式人工智能之父”被载入史册





坚持做大模型的本科生,前两代GPT一作

2016年,Alec Radford于富兰克林·欧林工程学院(Franklin W. Olin College of Engineering)取得学士学位,随后加入OpenAI,一干就是8年。

虽然Alec只有本科学历,但在大模型领域是不折不扣的领军人才,截至今日论文被引量已超19万

被引量排名前三的论文,分别与GPT-3、CLIP和GPT-2相关。





这三篇论文都为今天的ChatGPT打下了重要基础,实际上,Alec几乎参与了OpenAI所有的重大突破

除了被引量最高的这三篇,从第一代GPT到GPT-4o的作者名单中,Alec的名字都赫然在列,并且前两代中都是第一作者。

Alec同样作为一作的CLIP,则是OpenAI在多模态路线上的重要成果,甚至在整个行业都极具影响力;同时,Alec也是OpenAI初代绘图模型DALL·E的参与者。

其他模态方面,OpenAI开源的语音识别系统Whisper,一作仍然是Alec……





不过,最新的o1模型贡献者列表中已经没有了Alec的名字,但与他一同从初代开始参与所有GPT工作的Ilya,仍然在o1的名单之上。





但无论如何,综观整个OpenAI,其他人或多或少都转向过机器人、或是游戏AI等其他领域“发发论文”,只有Alec坚持做大模型方向的研究。

正是他所坚持的大语言模型路线,改变了OpenAI公司、乃至整个AI领域的发展方向。

对此,奥特曼还曾半调侃半认真地表示:

招聘时,记得关注那些“看起来不会加入公司”的人。
OpenAI一开始并未确定大模型这一研究方向,但我们仍然招了AI研究员,并在取得突破后让更多人加入其中,最终成就了ChatGPT。
在加入OpenAI之前,Alec研究了卷积神经网络、批量归一化和GAN,是DC-GAN的第一作者。

DC-GAN的另外两名作者,是Alec的同学Luke Metz和PyTorch之父Soumith Chintala。





彼时,还在上学的Alec已经参与创立了indico.io(现名为Indico Data),Luke也加入到了该公司。

(后来,大模型兴起之后,Indico也增加了企业大模型业务,率先推出了基于GPT的自定义模型。)





2016年,也就是Alec加入OpenAI的同一年,Luke去了谷歌大脑,但后来又在2022年加入了OpenAI,参与了GPT-4的部分研发工作,不过今年10月也离职了。

前两代GPT论文作者全部离开OpenAI

到Alec离职完成之后,也就标志着前两代GPT论文的所有作者,都离开OpenAI了。

其中最著名的是原首席科学家Ilya Sutskever,他和Alec一样参与了包括前两代在内的GPT的工作。

Ilya今年五月宣布退出OpenAI时,震动了整个AI圈,后来他成立了新公司,主攻构建“安全超级智能”。





第一代GPT的另外两名作者分别是Karthik Narasimhan和Tim Salimans

其中Karthik Narasimhan到OpenAI是出任访问学者,2018年访问期结束后到普林斯顿担任教职,现在是普林斯顿NLP联合主任,跟陈丹琦是同事。

另外,Karthik还是开源版Devin作者之一——清华姚班学霸姚顺雨在普林斯顿读博期间的导师(今年8月,姚顺雨加入了OpenAI)。





三作Tim Salimans则是在2018年7月履新谷歌大脑,担任职位为高级管理科学家。





同样选择加入谷歌的,还有GPT-2的三作Rewon Child和四作David Luan

Rewon后来还参与了GPT-3的工作,2021年离开OpenAI加入谷歌,2022年加入了初创公司Inflection AI,今年三月又到了微软;

David到谷歌则是2020年,后来他和Transformer论文作者Ashish Vaswani、Niki Parmar一起,创办了一家叫Adept的公司,David出任CEO。

不过据David的领英资料显示,他这个月已不在Adept担任职务,而是加入了亚马逊,与强化学习大牛、吴恩达第一届博士生Pieter Abbeel一同工作。





除了去谷歌的,GPT-2的作者中还包括了后来OpenAI的最强竞对,也就是Claude背后的厂商Anthropic的创始人Dario Amodei

Dario在OpenAI参与了GPT-2和3的工作,2020年末和妹妹Daniela一起离开,创立了Anthropic,两人分别出任CEO和总裁。





去向为Anthropic的,除了创始人Dario,还有GPT-2的二作Jeffrey Wu,离职的时间是今年7月,成为了倒数第二位离开OpenAI的前两代GPT参与者。





而今天,随着Alec的离职消息,打造最早两代GPT的八位研究者,已经要全部各奔东西了。


[1]https://www.theinformation.com/briefings/senior-openai-researcher-radford-departs
[2]https://scholar.google.com/citations?user=dOad5HoAAAAJ&hl=en
[3]https://x.com/iScienceLuvr/status/1869852854728700166


来源:网易

举报本楼

本帖有 2 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-12-23 08:26 , Processed in 0.187533 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部