OpenAI联合创始人Karpathy又双叒离职了 自称“懂我的都懂”

OpenAI联合创始人Karpathy又双叒离职了 自称“懂我的都懂” 大家好，没错，我昨天刚从 OpenAI 离职。首先要澄清的是，这并非因为任何特殊的事件、问题或纷争导致（不过，那些阴谋论真的很有趣，欢迎大家继续提出）。实际上，在 OpenAI 度过的最后一年真的很精彩 团队非常出色，同事们也非常棒，而且未来的发展路线图也充满了激动人心的可能，我相信我们都有很多值得期待的事情。我目前的计划是专注于我的个人项目，看看能碰撞出什么火花。对那些一直关注我的人来说，或许能猜到我接下来可能会做些什么。据 Information 独家报道称，Karpathy 正开发一个全新的“AI 助手”，而且与 OpenAI 的研究主管 Bob McGrew 保持着密切合作。虽然 ChatGPT 受到许多人的青睐，但 OpenAI 还希望推出一款可以自动执行复杂任务的 AI，比如填写费用报告，并将其输入会计软件。Karpathy 曾在特斯拉担任 AI 高级总监、自动驾驶负责人，并于 2022 年 7 月宣布离职。5 来年，他主要负责 Autopilot 半自动驾驶软件的研发工作。紧接着在 23 年 2 月，他再次官宣“重新加入 OpenAI”。而现在，整整一年后，他再次官宣离开了 OpenAI。OpenAI 的发言人 Kayla Wood 在一份声明中表示，“Andrej 离开是为了追求个人项目。我们对他的贡献表示深深的感激，并祝福他未来一切顺利。”目前，他的工作已经交由一位与他有着密切合作的资深研究员接手。自去年 OpenAI 董事会解雇 Sam Altman 之后，便引发了数名高层员工辞职。在董事会撤回其决定后，这些员工随 Altman 一起返回了公司。现在，Karpathy 成为 OpenAI 首位离职的核心人物。那么，他所说的专注个人项目，会是什么呢？AI 智能体？投身 AI 教育？大概在去年 7 月份的时候，Karpathy 在一个线下分享活动中，就曾强调了 AI 智能体的前景。当他刚开始在 OpenAI 工作时（2016 年左右），业界潮流就是研究如何用强化学习的方法来改进 AI 智能体。比如，很多项目都在基于类似雅达利游戏来制作 AI 玩家。Karpathy 想做的，则是一个适用范围更广泛的产品。不过受制于当时的技术，效果并不理想，于是他和 OpenAI 就改变了方向，开始做大语言模型了。如今，AI 智能体重新成为了一个非常有前途的方向。最简单的例子就是，现在没有人再像 2016 年那样用强化学习的方法来研究 AI 智能体了。而从 OpenAI 离职，可能是他重新看到了现在的技术突破，可能给 AI 智能体带来的全新机会。有趣的是，Karpathy 近段时间讨论最多的话题，除了 Vision Pro 之外，就是一篇关于“学习”的长文。在这篇文章中，他深度探讨了什么是有价值的学习，包括斯坦福 HAI 中心主任 manning 等人都进行了转发。加上他 Youtube 频道中的内容几乎都是在教网友如何理解大模型和相关技术的内容。所以他之后的内容也许和 AI 教育有非常大的联系。OpenAI 硬核网红在他的个人主页上，自制了一个工作经历时间线，可以清楚地看到从 2017 年成为 OpenAI 联创之后，加入特斯拉，再回归 OpenAI 的所有过程。过去一年来，离职特斯拉的 Karpathy 通过博客、发帖、讲课等方式，逐渐在社交媒体上成为网红。他还在自己的 YouTube 平台上发布了多种学习课程，目前已上线了 8 个视频。就在他官宣离职的评论下方，网友关心道，是不是意味着未来有更多的 YouTube 视频上线？Karpathy 本人表示：“两天前我已经开始制作下一期视频了”！著名 AI 机器学习研究员 Sebastian 同样称，“听起来肯定还有更多的教育内容正在筹备中”。看来离职后的 Karpathy，将会有大把的时间更新视频了。此外，在社交平台上，Karpathy 本人也经常会关注一些热点研究，并发表自己的评论，有时也会提出自己的观点。比如，他曾把大模型比作成一种操作系统，因其能检索文件、编写代码、运行程序，以及理解音频、图像和人类指令。再比如，提出对“语言模型幻觉问题”的看法等等。李飞飞高徒、“用爱发电”的技术大牛不仅是技术网红，Andrej Karpathy 更是一个不折不扣的技术大牛。他先是在 2009 年于多伦多大学获得计算机科学和物理学双专业学士学位，而后在 2011 年于英属哥伦比亚大学获得硕士学位，研究是物理模拟数字的控制器。在斯坦福读博的时候，Karpathy 和导师李飞飞共同研究卷积 / 递归神经网络架构及其在计算机视觉、自然语言处理及其交叉领域的应用。师徒二人还一起设计了斯坦福大学的视觉识别卷积神经网络的新课（CS231n），Karpathy 亲自担任首任主讲。而这正是斯坦福开设的第一门深度学习课程！学生人数也从 2015 年的 150 名增长到 2016 年的 330 名，再到 2017 年的 750 名。如今，斯坦福大学的 CS231n 已经成为深度学习初学者，尤其是 CV 方向的初学者必看的一门基础课。除了大牛李飞飞的“明星效应”，Karpathy 从课程设计到主讲，亲力亲为，贡献良多。上学期间，他还跑去Google实习了 两次，还是出国的那种，在Google参与了深度学习与计算机视觉项目。2015 年，他又去 DeepMind 的深度强化学习团队实习了一波。毕业之后，Karpathy 于 2016 年入职 OpenAI 并担任研究科学家，负责计算机视觉、生成建模和强化学习方面的深度学习。“斯坦福博士生、李飞飞高徒、前 OpenAI 研究员及创始人之一”，这些头衔也让他在硅谷声名鹊起。果然，在 OpenAI 只干了一年半，他就被马斯克挖去了特斯拉，接替苹果前高管 Chris Lattner，担任特斯拉人工智能和自动驾驶视觉总监（Director of AI and Autopilot Vision）。由于 Karpathy 本人十分喜欢研究神经网络，他在闲暇之余写了不少技术博客，并在 Javascript 中开发了多个深度学习库（如 ConvNetJS、RecurrentJS、REINFORCEjs、t-sneJS）。甚至，还被戏称为 ImageNet 的“人肉参考”。此外，他一有时间就会去维护自己“用爱发电”的 arxiv-sanity，一个可以在过去 6 年里搜索和整理近 10 万篇关于机器学习 arXiv 论文的网站。 ... PC版： 手机版：

微软2023年Build大会演讲：如何训练和应用GPT |微软2023年Build大会来自OpenAI的AI 研究员和创始成员A

微软2023年Build大会演讲：如何训练和应用GPT |微软2023年Build大会来自OpenAI的AI 研究员和创始成员Andrej Karpathy的一个主题为State of GPT的演讲。 演讲主要有两部分内容： 1. OpenAI是如何训练GPT的 2. 我们如何有效应用GPT

【特斯拉 AI 高级总监 Andrej Karpathy 宣布离职】在近几年的特斯拉发布会等重要场合，都是他代表特斯拉在介绍自动

【特斯拉 AI 高级总监 Andrej Karpathy 宣布离职】在近几年的特斯拉发布会等重要场合，都是他代表特斯拉在介绍自动驾驶、机器人和 AI 技术，可以说就是特斯拉自动驾驶团队的灵魂人物。 #抽屉IT

Open AI传奇研究员Andrej Karpathy的新课，教你理解和构建GPT Tokenizer。

Open AI传奇研究员Andrej Karpathy的新课，教你理解和构建GPT Tokenizer。 他可以把相当复杂的LLM概念用非常好理解的方式讲出来。希望了解LLM的强烈建议听一下他的课，包括一些历史课程。 用GPT-4翻译了一下这节课，感兴趣可以听一下。字幕文件下载和历史课程会放最后。 补充一下视频介绍： 分词器是大语言模型（LLM）处理流程中一个独立且关键的环节。它们有专属的训练数据集、采用特定的训练算法字节对编码（Byte Pair Encoding），训练完成后，分词器能够执行两个核心功能：encode() 函数将普通文本字符串转换为词元，而 decode() 函数则能将词元还原为原始文本字符串。在这场讲座中，我们将一步步揭开 OpenAI GPT 系列分词器的构建过程。 我们将发现，许多大语言模型(LLM)表现出的异常行为和问题，其实都源于标记化(tokenization)这一环节。我们会针对这些问题进行详细讨论，探究标记化为何成为问题的关键所在，以及为什么最理想的情况是有人能够找到办法，完全去除这一处理阶段。 字幕及视频下载：

Logan Kilpatrick Open AI 开发者关系主管的专访，几个关于他们的招聘理念和 Open AI 以及 Chat

Logan Kilpatrick Open AI 开发者关系主管的专访，几个关于他们的招聘理念和 Open AI 以及 ChatGPT 的发展的部分可以关注一下： OpenAI之所以能迅速推进项目并交付高品质的产品，关键在于聘请那些具备强烈的自主驱动力和紧迫感的人才。 这种做法让OpenAI能够超越常规流程，培养出一种文 ...

AI Agents大爆发：软件2.0雏形初现，OpenAI的下一步

AI Agents大爆发：软件2.0雏形初现，OpenAI的下一步 本文编译自 Lilian Weng 的个人博客，Lilian 现在是 OpenAI 的 Head of Safety Systems，之前还领导过 OpenAI 的 Applied AI 团队。 AI Agent 被认为是 OpenAI 发力的下一个方向。OpenAI 的联合创始人 Andrej Karpathy 在近期的一次公开活动上提到“相比模型训练方法，OpenAI 内部目前更关注 Agent 领域的变化，每当有新的 AI Agents 论文出来的时候，内部都会很兴奋并且认真地讨论”，而在更早之前，Andrej还评价 AutoGPT 是 Prompt Engineering 下一阶段的探索方向。 Lilian Weng 的这篇 Blog 可以说是目前 AI Agent 领域优质论文的系统综述，她将 Agents 定义为 LLM、记忆（Memory）、任务规划（Planning Skills）以及工具使用（Tool Use） 的集合，其中 LLM 是核心大脑，Memory、Planning Skills 以及 Tool Use 等则是 Agents 系统实现的三个关键组件，在文章中，她还对每个模块下实现路径进行了细致的梳理和说明。到今天，构建 AI Agent 的工具箱已经相对完善，但仍需要面对一些限制，例如上下文长度、长期规划和任务分解，以及 LLM 能力的稳定性等。 从今年 3 月 AutoGPT 推出后，Generative Agent、GPT-Engineer、BabyAGI 项目的爆发将 LLM 的叙事代入了新的阶段，从“超级大脑”到真正有可能成为“全能助手”。Lillian 在自己的 Twitter 中也认为“This is probably just a new era”。 |