GPT-4o 17人Omni金牌团队首揭秘 清北上交中科大6位华人领衔
GPT-4o17人Omni金牌团队首揭秘清北上交中科大6位华人领衔就在刚刚，GPT-4o的关键团队信息，也被公布了出来。就是这个名为“omni”的团队，发挥出了不可思议的潜力，让OpenAI的首个原生全多模态模型成为可能。SamAltman盛赞，如果没有团队负责人PrafullaDhariwal长期以来的远见、才智、信念和决心，就没有GPT-4o。而整个团队的努力，才使得他所期待的人机交互革命成为现实。OpenAI联创GregBrockman，也表扬了这位肩负着整个团队使命的负责人。多亏了PrafullaDhariwal“建立全能大模型”的信念，并且在过去的18个月中联合了OpenAI的许多团队，在多个团队的通力合作下，GPT-4o才得以诞生。根据负责人的说法，其实OpenAI早就有意打造这样一个Omni大模型了。然而一年多之前，团队曾经做过多次多模态的尝试，却没有一次能让最大的GPT成功地完成多模态运行。幸运的是，团队成员齐心协力，用出色的能力攻克了种种能力，使GPT-4o成为可能。网友锐评：“你们确实处于创新的前沿，执行水平达到了大型科技巨头梦寐以求的水平。”而如此惊艳的演示，竟然是一个不到20人的小团队打造出来的。Omni团队揭秘接下来，一起看看打造OpenAI首个原生多模态GPT-4o背后团队成员，都有谁？负责人PrafullaDhariwal领导GPT-4o开发的负责人PrafullaDhariwal，是一位印度小哥。他于2017年获得了麻省理工学院的计算机科学学士学位。毕业前夕，Dhariwal就加入了OpenAI（那时OpenAI仅成立一年），并在17年正式成为研究科学家。至今，Dhariwal任职OpenAI7年，可以说，他见证了这家初创公司的成长全过程。在此期间，Dhariwal参与了诸多重磅的研究。根据LinkedIn个人主页，他将发表论文的领域分类为生成式模型、无监督学习、ScalingLaw、定理证明、强化学习、量子复杂性。其中包括DALL·E3、DALL·E2，模型一致性等，还共同提出了著名的“ScalingLaw”。值得一提的是，Dhariwal曾在高中期间参加了几次国际奥林匹克竞赛。他是2012年IMO竞赛的金牌得主，也是IAO（国际天文学奥林匹克竞赛）、IPhO（国际物理奥林匹克）的金牌获得者。有网友称，PrafullaDhariwal从高中起就是我的灵感来源。他当年为印度赢得了IAO、IPhO和IMO的金牌，并在OpenAI大学毕业后从事非常酷的VAE、Gans、DDPM、一致性模型等项目。6位华人LiJingLiJing在团队中发挥的作用是，让大家拥有令人惊叹的图像/3D生成。此前，他为Dall-E3、Sora、GPT-4o都做出过贡献。他曾在Meta做过2年的博后研究员，随后进入OpenAI成为全职研究员。虽然才入职OpenAI不到两年，但他已参与过多个OpenAI的重磅研究了。他在北京大学获得物理学学士学位，在MIT获得物理学博士学位。CaseyChuCaseyChu是团队的老员工了。他从2020年4月就入职了OpenAI，如今已经是4年的“元老”了。他本科在哈维·穆德学院获得数学学士学位，在斯坦福大学获得计算数学硕士学位。MarkChenMarkChen是OpenAI的前沿研究主管，并且还是美国IOI队的教练。在团队漫长的研究中，MarkChen是大家奋斗的支柱。他已是OpenAI五年多的老员工。此前曾在微软、Trading实习，在哈佛做访问学者，在量化研究工作过5年，并且成为合伙人。他毕业于MIT数学-计算机专业。JiahuiYu（于佳慧）JiahuiYu负责带领OpenAI的感知团队。此前，他曾担任GoogleBrain和GoogleDeepMind的高级研究科学家和经理。他的研究领域包括序列建模（语言、语音、视频、金融数据）、计算机视觉、生成模型和高性能计算。在研究生期间，他在微软亚研院、旷视科技、AdobeResearch、SnapResearch、JumpTrading、百度研究院、NVIDIAResearch和GoogleBrain都有过实习经历。他本科毕业于中国科技大学少年班，获得计算机学士学位。博士毕业于伊利诺伊大学香槟分校。HuiwenChangHuiwenChang在OpenAI已经工作一年。此前她曾在Google工作过5年，在微软亚研院、Adobe、Facebook有过实习经历。她在清华大学计算机科学实验班（姚班）取得学士学位，然后在普林斯顿大学取得博士学位。YuZhang他在OpenAI工作了8个月。他此前曾在GoogleDeepMind工作过6年，还在微软亚研院、微软实习过。他本科在上海交通大学取得计算机学士学位，在MIT取得博士学位。其他关键成员JamesBetkerJamesBetker在这个团队中负责得非常全面，应有尽有，包括图像、音频、数据、集成、后训练（post-training）。这是从Google跳槽至OpenAI的大咖。在加入OpenAI之前，Betker曾在Google担任了3年的软件工程师。此外，他还在2011年加入了GarminInternational，现任职高级软件工程师。他曾获得了UCSB的计算机科学动查看学士学位，与此同时，在2005-2009年期间，还是在学校担任4年的软件工程师。JamieKirosJamieKiros让GPT-4获得当前最佳的视觉感知能力，做出了非凡的成绩。此前，他曾在Google工作过3年。他在多伦多大学取得计算机博士学位。RowanZellersRowanZellers在Omni团队中的贡献是，让OpenAI可以像人一样自然地看到视频。毕业后，他加入了艾伦人工智能研究所（AI2）成为研究实习生。2022年6月，成为OpenAI的一名技术人员。Zellers曾获得了哈维·穆德学院（HarveyMuddCollege）的数学和计算机科学的学士学位，以及华盛顿大学计算机科学博士学位。AlexisConneau在加入OpenAI之前，AlexisConneau就已经提出了“Her”（视觉模型）的理念，并且坚持不懈地执行并实现了它。目前，Conneau是OpenAI的语音AGI负责人。进入他的个人主页，就知道Conneau对Her有多么痴迷了。Conneau在加入OpenAI之前，曾在Meta、Google担任过研究科学家，有着9年的自然语言深度学习的经验。华盛顿邮报曾对Conneau进行了个人专题报道——AlexisConneau曾帮助Meta（Facebook）和Google打造了以惊人的精确性理解数十种语言的AI系统。在Meta期间，Conneau团队推进了机器学识算法，将语言用数字抽象形式表现的能力，最终训出能够处理同步语言的AI。比如XLM-R模型可以处理100+语言，其准确性几乎与单一语言模型一致。Conneau在Meta做的最后一项工作是Wave2vec-U。这是一种无人监督的语音识别系统，可以从音频中读取单词。此外，他还发明了一种算法XLm-Roberta，能够阅读各种语言的海量数据。这项研究也成为他被引最高的成果。他曾获得了FacebookAIResearch的计算机科学博士学位，在巴黎-萨克雷高等师范学校获得了机器学习硕士学位，以及巴黎综合理工学院获得了数学硕士学位。GabrielGohGabrielGoh和接下来要介绍的IshaanGulrajani，在团队中主要贡献是，提出了一系列相关的“ScalingLaw”的工作。这样当所有这些模态（视觉、语音等）汇集在一起时，模型便可以擅长处理一切事物!GabrielGoh也是OpenAI5年多的老员工，此前曾在苹果工作1年半。他在英属哥伦比亚大学取得硕士学位，在加州大学戴维斯分校取得了数学专业博士学位。CBC曾报道过GabrielGoh到OpenAI后，在2021年设计的CLIP系统。他参与的这项研究，揭示了CLIP无法正确识别图像，会把放着iPod字样的苹果识别为iPod。IshaanGulrajaniIshaanGulrajani目前是OpenAI的研究员。根据OpenReview的介绍，他曾在Google和Meta工作过。并在MIT获得学士学位，以及在斯坦福大学获得博士学位。AlexNicholAlexNichol在团队中主攻3D图像生成，也是DALL·E2的共同发明者。此前，他一直是一位自由职业者。随后，在2107年加入了OpenAI任技术研究员，中间还离职有近一年时间，并在2020年5月再次入职。比如，在GPT-4o官方报博客中的演示，它可以生成一致的试图，重建复杂3D模型。这些所展示出的成果，离不开Nichol的贡献。HeewooJun与Nichol一样，HeewooJun在团队中也在负责图像、3D生成。根据OpenReview介绍，他曾在2015-2019年间在百度（美国...PC版：https://www.cnbeta.com.tw/articles/soft/1431106.htm手机版：https://m.cnbeta.com.tw/view/1431106.htm
