Ilya Sutskever是OpenAI的Co-Founder和首席科学家。相比Sam Altman,他更低调,也更偏技术。连

Ilya Sutskever是OpenAI的Co-Founder和首席科学家。相比Sam Altman,他更低调,也更偏技术。连续听了他的三个访谈,收益颇多。尤其是三年前(2020年5月)他在Lex Fridman Podcast的那次访谈 - 当时GPT3都还没有发布,算得上是畅所欲言,聊出了很多干货,不少内容即便今天听也觉得印象深刻。剩下的两期是2023年他和黄仁勋的对谈以及2周前他做客斯坦福某个seminar的访谈。一些key takeways: 1. 从生物学上,理解神经网络和大脑的相似性 物理学中的理论是非常精确的,人们可以用其做出各种惊人的预测。相比之下,生物学要更加复杂,很难有好的预测性理论。机器学习则介于物理学和生物学之间。 本质上,深度学习是在参考人类大脑的运行方式。在Ilya看来,神经网络最重要的突破是反向传播算法,用数学方程来描述了学习的原理。根据目前神经科学的理解,大脑的学习规则的关键是电信号的时序 (Spike-timing dependent plasticity, STDP)。STDP机制根据神经元放电时序来调节突触强度,而神经网络的反向传播算法通过时间顺序的链式求导来调整权重,二者都依靠误差信号来改变网络结构,并且驱动学习。

相关推荐

封面图片

Ilya Sutskever,OpenAI 的联合创始人兼首席科学家,曾领导过针对 Sam Altman 的臭名昭著的失败政变,

Ilya Sutskever,OpenAI 的联合创始人兼首席科学家,曾领导过针对 Sam Altman 的臭名昭著的失败政变,但后来又改变了主意,现在正式离开该公司。 CEO Sam Altman 和 Sutskever 自己均发布了公告这一消息 Sam表示: Ilya和 OpenAI 即将分道扬镳。这对我来说非常悲伤;伊利亚无疑是我们这一代最伟大的头脑之一,是我们领域的引路人,也是一位亲密的朋友。他的才华和远见是众所周知的;他的温暖和同情心虽然不为人知,但同样重要。 如果没有他,OpenAI 不会有今天的成就。尽管他有自己想要从事的有意义的工作,我永远感激他在这里所做的一切,并致力于完成我们一起开始的使命。我很高兴这么长时间以来能够与这样一个真正非凡的天才近距离接触,他如此专注于为人类创造最好的未来。 Jakub 将成为我们的新首席科学家。雅各布也无疑是我们这一代最伟大的头脑之一;我很激动他能在这里接过接力棒。他管理了我们许多最重要的项目,我非常有信心他将带领我们快速且安全地向着确保人工通用智能(AGI)惠及每个人的使命迈进。 根据 OpenAI 的新闻发布,Jakub 指的是公司研究总监 Jakub Pachocki。发布称他一直在“领导 GPT-4 和 OpenAI Five 的开发,以及大规模强化学习和深度学习优化的基础研究。” 无论发生了什么,这似乎代表了 OpenAI 内部一段时间以来不断增长的裂痕。 标签: #OpenAI 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

OpenAI 联合创始人兼首席科学家 Ilya Sutskever 宣布离职

OpenAI 联合创始人兼首席科学家 Ilya Sutskever 宣布离职 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 今早在 X 发布,正式宣布离开 OpenAI。 频道:@kejiqu 群组:@kejiquchat

封面图片

ChatGPT 发明人OpenAI 首席科学家Ilya Sutskever精彩访谈

ChatGPT 发明人OpenAI 首席科学家Ilya Sutskever精彩访谈 大型语言模型 (LLMs) 的未来,下一代的语言模型是怎样的?ChatGPT 背后公司 OpenAI 的联合创始人和首席科学家 Ilya Sutskever 谈人工智能的最新发展以及像 GPT-3这样的大型语言模型(LLMs)的未来,全程干货!时长约1小时,知识和信息量很大!#视频 () 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

OpenAI首席科学家Ilya离职 GPT-4背后天才科学家接任

OpenAI首席科学家Ilya离职 GPT-4背后天才科学家接任 Ilya po出一张和OpenAI众元老的合影,做着最后的告别。Ilya离职后,将由Jakub Pachoki接任OpenAI首席科学家。Pachoki发文,‘Ilya曾向我介绍了深度学习研究的世界,多年来一直是我的导师和伟大的合作者。正是他对深度学习不可思议的愿景,造就了OpenAI和AI领域今天的成就。我深深地感谢他’。网友感慨道,‘一个时代终结了’。别了Ilya,别了OpenAISam Altman转发了Ilya的告别推文,配文说:‘感受今天的AGI。’Sam Altman对于Ilya的离开表示非常遗憾,‘他走后的OpenAI不再和从前一样’。但同时转身就官宣了新任的首席科学家Jakub Pachoki。Ilya即将离开OpenAI,这让我感到非常难过。Ilya无疑是我们这一代最杰出的思想家之一,是我们领域的引路人,也是我亲爱的朋友。他的才华和远见众所周知,他的温情和同理心虽然鲜为人知,但同样不可或缺。没有他,OpenAI不会有今天的成就。尽管他将去从事一些对他个人而言意义重大的工作,但我将永远感激他在这里的贡献,并致力于完成我们共同启动的使命。我很高兴能够长时间与这样一位真正卓越的天才以及如此专注于实现人类最美好未来的人一起合作。Jakub将接任我们的首席科学家。Jakub也无疑是我们这一代顶尖的思想家之一,我对他即将承担这一角色感到非常激动。他曾领导我们许多最关键的项目,我非常确信他能带领我们快速且安全地推进我们的使命,确保AGI惠及每个人。联合创始人Greg Brockman更是写了一篇超长的文章,以表对Ilya感谢和怀念。我非常感激Ilya,他不仅是我的联合创始人和朋友,还是我婚礼的证婚人。我们共同规划了OpenAI的未来发展。从2015年末开始,OpenAI作为一个非营利组织,致力于让AGI的发展顺利进行,尽管当时还没有明确方案。在最初的日子里,Ilya和我投入了大量时间,全面深入地考虑了公司的文化、技术方向和战略。我们认识到,为了构建空前的超级计算机,我们需要筹集的资金远超初期预期。在这个非营利组织中,我们共同筹资,虽然超过了他人预期,但仍远未达到需求。后来我们提议,建立一个服务于最初使命的营利性机构。建立之后,我们继续协调和塑造公司的方向,专注于AGI使命,同时解决了许多实际问题,保证每天都有进展。Ilya是一位艺术家。他的远见和热情极具感染力,他帮助我在刚入行时理解这个领域。他勇于深入探索自己直觉的逻辑结论。我们受到1962年出版的《未来简史》的启发(这本书描述了科学家们曾错误地宣称灯泡、飞行和进入轨道是不可能的,而这些成就不久后就实现了)。因此,尽管有人怀疑AGI在可见的未来不可能出现,我们依然根据我们对深度学习的信念,坚持着思考和行动。这个使命还远未完成,OpenAI能成为今天的OpenAI,Ilya发挥了关键作用。感谢他为此付出的一切。去年11月OpenAI的董事会风波中,由于Ilya对公司模型的安全性有所担忧,曾经联合董事会成员发起过反对Sam Altman的行动。Ilya博士毕业于多伦多大学,师从于著名的‘人工智能教父’Geoffray Hinton。博士毕业后,他曾在斯坦福大学吴恩达团队和Google Brain进行研究工作。2016年,他以联合创始人兼研究总监的身份加盟OpenAI,并在两年后升任为首席科学家。新任首席科学家,GPT-4背后天才接任Ilya的科学家Jakub Pachocki,自2017年以来一直领导着OpenAI变革性研究计划。Pachocki曾先后担任Dota组、推理组以及深度学习科学团队的研究负责人,并于去年8月起担任OpenAI研究总监一职,领导了GPT-4和OpenAI Five的开发,以及大规模RL和深度学习优化方面的基础研究。他是GPT-4背后主要领导人,更是一位天才科学家。奥特曼曾对Pachocki这样评价道,‘在GPT-4预训练工作,Jakub Pachocki所展现出的卓越领导力和技术远见是非常了不起的。如果没有他的贡献,我们是无法取得今天的成就’。在此前的MIT采访中,Pachocki将开发如GPT-4这样的语言模型比作‘构建宇宙飞船’必须确保每一个部件都完美无缺。他还提到,自2018年第一个版本发布以来,GPT模型的基本构建方法并没有太大变化。尽管Pachocki在GPT-4的开发中扮演了关键角色,并且取得了显著成就,但他一直保持低调,很少在媒体前露面。然而,他的成就本身已经足够引人注目。Pachocki对AI的热情始于AlphaGo的发布,当时他意识到深度学习的潜力远超过当时计算机的能力。他在OpenAI开发Dota 2游戏机器人的过程中发挥了关键作用,该机器人通过不断自我对战,最终达到了职业水平。2012年,他曾赢得了Code Jam冠军,并获得了10,000美元的奖金。此外,他还在其他编程竞赛中名列前茅,包括2012年ACM ICPC世界总决赛(金牌)、2012年TopCoder公开赛和2013年Facebook黑客杯。Pachocki在编程领域所取得的成功,凸显了认知能力在此领域的重要性。他曾在采访中提到,像谷歌Code Jam这类编程竞赛更类似于数学作业或解逻辑题,要想获胜需要极高的认知能力。从这个角度看,谷歌14%没有本科学位的员工,可能与其余86%的员工并无太大差异。加入OpenAI之前,Pachocki曾获得卡内基梅隆大学理论计算机科学博士学位,并在Facebook进行软件工程岗位的实习。网友在线祝福当Sam不再用小写时,你就知道,他这次是认真的。而在留言区,网友们问出的,依旧是那个永恒的问题:‘Ilya,你在OpenAI究竟看到了什么’?还有许多人为Ilya送去祝福。很多人都觉得,Ilya离开后,OpenAI不会再是那个OpenAI了。也有网友对Ilya下一步的去向表示期待。甚至,有人早在去年就做出‘神预言’:Ilya今年会离开。Ilya,再见了。离开OpenAI,奔赴下一站吧。 ... PC版: 手机版:

封面图片

OpenAI 首席科学家 Ilya Sutskever 已离职

OpenAI 首席科学家 Ilya Sutskever 已离职 OpenAI 首席科学家 Ilya Sutskever 刚刚在社交媒体宣布已从 OpenAI 离职,同时附带了一张与 OpenAI 董事会核心成员、以及高层领导的合照。

封面图片

OpenAI首席科学家Ilya离开OpenAI了吗?

OpenAI首席科学家Ilya离开OpenAI了吗? OpenAI 联合创始人兼总裁格雷格·布罗克曼(Greg Brockman)、CTO 米拉·穆拉蒂(Mira Murati)等人,也在积极为 Sora 宣传。但伊尔亚的最后一条推文,停留在了 2023 年 12 月 15 日。OpenAI 在其官网上的 Sora 的文章后面留下了团队成员的名字。在一串致谢名单中,我们看到了萨姆·奥尔特曼、格雷格·布罗克曼、米拉·穆拉蒂等人的名字,但唯独没有出现伊尔亚·苏茨克维。这不禁让人怀疑,伊尔亚究竟是在埋头研究 GPT-5,还是已经离开了 OpenAI ?值得一提的是,OpenAI 创始成员之一、AI 技术研究员安德烈·卡帕蒂(Andrej Karpathy)在Sora 发布前夕离职。有网友大胆猜想:“如果 Andrej 和 Ilya 创办一家真正开放的人工智能公司怎么办?”1.“我们终于知道伊尔亚看到什么了”今天,OpenAI 最新发布的 Sora 模型再次让人们感受到了人工智能的强大,强大到令人害怕。Sora 不仅仅是一个视频生成模型,它涌现出了对物理世界的理解能力(尽管还存在局限),OpenAI 直接将其定义为“世界模拟器”(world simulators)它打开了一条通往模拟物理世界的有效路径。不少人感慨,“现实不存在了”,“物理学不存在了”。人们似乎在这一刻终于理解了伊尔亚为什么一直执着于人工智能的安全性研究。强大的 AI 模型对世界带来的风险并非遥不可及。有网友表示:“现在,我们知道伊尔亚看到什么了。”埃隆·马斯克则在贴子里留下了一个笑哭的表情。去年,随着 GPT-4 以及后续一系列更强大的大语言模型的更新,以伊尔亚为代表的 OpenAI 成员越来越多地考虑 AI 的可控性问题。为此,OpenAI 在 2023 年 7 月 5日宣布成立一个新的团队“超级对齐”(Superalignment),来研究引导和控制比人类聪明得多的 AI 系统。这一项目由伊尔亚与同事简·莱克(Jan Leike)共同领导,并将 OpenAI 20% 的算力专门用于该项目的研究。一般认为,去年 11 月闹得沸沸扬扬的 OpenAI “宫斗事件”的导火索,就是伊尔亚对于 AI 的发展理念与萨姆产生了分歧,伊尔亚越来越担忧 OpenAI 的技术可能造成极度危险的局面,他觉得萨姆对待 AI 应该更加谨慎。显然,萨姆并没有停下来。在硅谷,对于 AI的不同态度把人群分成了保守派与激进派。保守派也被称为EA(Effective Altruism,有效利他主义),代表人物是“人工智能教父”杰弗里·辛顿(Geoffrey Hinton),伊尔亚就是他的学生。激进派被称为“e/acc(有效加速主义)”,很多知名的科技大佬、AI 从业者都是 e/acc 主义的信徒。萨姆并未公开表达过自己的立场,但考虑到他带领下的 OpenAI 一系列激进的产品发布节奏,事实上他已经成为 e/acc 的代言人。伊尔亚联合董事会成员罢免了萨姆。但在大股东微软的斡旋与 OpenAI 全体员工请辞的压力下,伊尔亚最终妥协让步,萨姆在几天后重新回到了 OpenAI 并掌权,并重组了董事会。宫斗事件结束后,伊尔亚并没有立即离开 OpenAI,萨姆希望继续他们之间的工作关系,并正在讨论他如何继续在 OpenAI 的工作。萨姆表达了对伊尔亚的谢意:“我尊重并热爱着伊尔亚,我认为他是这个领域的指路明灯,也是人类的瑰宝。我对他的恶意为零。”但去年外媒一篇报道曾指出,伊尔亚似乎处于一种“迷茫”的状态,在 OpenAI 变得“隐形”。自萨姆回归以来,伊尔亚就没有出现在 OpenAI 旧金山的办公室内。 马斯克也向伊尔亚抛出了橄榄枝,他表示伊尔亚应该加入特斯拉或他的 AI 公司 xAI。伊尔亚对于人工智能安全的工作还在继续。12 月 14 日,OpenAI 发布了超级对齐项目的最新研究论文:使用 GPT-2 级别的小模型来监督 GPT-4 级别的大模型,并获得接近 GPT-3.5 级别的性能。同时,OpenAI 宣布与 Eric Schmidt 合作,启动了一项 1000 万美元的资助计划支持技术研究,以确保超人类人工智能系统的一致性和安全性。作为该论文核心作者之一的伊尔亚,也在 X 上转发了相关内容。但这是宫斗事件至今,伊尔亚在 X上转发的关于 OpenAI 进展的唯一内容。我们暂时无法得知伊尔亚是否已经离开了 OpenAI ,但他对于 Sora 的沉默态度似乎并不寻常。伊尔亚在签名上写着:“朝着拥抱人性多样化的通用人工智能发展。”2.人才是 OpenAI 的核心竞争力虽然伊尔亚并不在 Sora 的研究团队中,但 Sora 仍然表现出了压倒性的性能优势,可见人才密度是 OpenAI 领先的重要因素。Sora 团队整体非常年轻。核心成员有三位,分别是研究负责人Bill Peebles(比尔·皮布尔斯)与 Tim Brooks(蒂姆·布鲁克斯)与系统主管 Connor Holmes。Conner Holmes 曾是微软研究员,在微软工作时以外援形式参与了 DALL·E 3 的推理优化工作,后来跳槽加入 OpenAI 。Bill Peebles 本科就读于 MIT,主修计算机科学,参加了 GAN 和 text2video 的研究,还在英伟达深度学习与自动驾驶团队实习,研究计算机视觉。毕业后正式开始读博之前,他还参加了 Adobe 的暑期实习,研究的依然是 GAN。2022年5月,Bill 到 Meta 进行了为期半年的实习,和谢赛宁( Bill 开始实习时还未离开 Meta)合作发表了 DiT 模型,首次将 Transformer 与扩散模型(Diffusion Model)结合到了一起。从加州大学伯克利分校博士毕业之后,Bill 加入了 OpenAI。Sora 的模型架构,就是参考了 Bill 与 谢赛宁合作发表的 DiT 论文。值得一提的是,该论文主要聚焦在了 DiT 架构在图像生成领域的性能表现。有人推测,随着 Bill 加入OpenAI ,他很可能把自己在视频领域的研究成果,也带到了 OpenAI 的 Sora 项目中。Sora 的另一个核心作者是 Tim Brooks,曾在 Google 负责 Pixel 手机摄像头的机器学习工作,以及在英伟达负责视频生成模型研究。2023 年从加州大学伯克利分校博士毕业后,Tim 加入 OpenAI,参与了 DALL·E 3 相关研究。在其他几位作者中,也包括两位华人 Li Jing 与 Yufei Guo。今天,上海交大校友、目前在纽约大学担任助教的谢赛宁在朋友圈辟谣了自己是 Sora 作者之一的消息。他表示,Sora 是 Bill 他们在 OpenAI 的呕心沥血之作,虽然不知道细节,但他们每天基本不睡觉高强度工作了一年。同时,谢赛宁也对 Sora 发表了他的观点:第一,对于 Sora 这样的复杂系统,人才第一,数据第二,算力第三,其他都没有什么是不可替代的;第二,在问 Sora 为什么没出现在中国的同时,可能也得问问假设真的出现了(可能很快),我们有没有准备好?如何能保证知识和创意的通畅准确传播让每个人拥有讲述和传播自己故事的“超能力”,做到某种意义上的信息平权。但是又不被恶意利用,变成某些人某些组织的谋利和操纵工具。oai 有一整套的 redteaming, safety guardrail 的研究部署,欧美有逐渐成熟的监管体系,我们准备好了吗?这件事跟技术成熟前,生成点小打小闹的漂亮图片不是一个量级,真相捕捉和黑镜里讲的故事,很有可能很快变成现实。(封面图来自 X,左边为安德烈·卡帕蒂,右边为伊尔亚·苏茨克维) ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人