传奇程序员约翰卡马克想要转型ai,然后ilya给他推荐了这27篇论文,说看完这些论文就会对当前领域在发生什么有一个全面的理解

传奇程序员约翰卡马克想要转型ai,然后ilya给他推荐了这27篇论文,说看完这些论文就会对当前ai领域在发生什么有一个全面的理解。这个太棒了。无数大佬都说学ai最重要就是多读paper多测demo,但是论文千千万,精力又是有限的。可以有真大神ilya帮忙梳理一套论文那是完全不一样的。而且现在有了gpt的帮助,包括一些插件比如consesus,比如mr.ranedeer,等等,小白也可以最无痛的看论文了。甚至可以针对这27篇论文,让gpt帮自己定制一个专属的学习计划和专属教材。另外加上一个超好用的小技巧,我之前学神经网络和机器学习基础的时候一直在用的,就是让gpt针对每个知识点学完以后马上问问题来靠自己,比如让自己用自己的语言陈述一下这个知识点,然后gpt就可以测试自己对每个理论或者知识点的理解透不透,如果不透马上可以针对这个知识点给你傻瓜式解释到你绝对懂为止。这种流畅的学习体验,和没有gpt时代是完全完全不同的,曾经的自己如果这么厚一踏专业全英文论文摆在面前,坦白说连翻来的勇气的没有。(只针对人生的前30多年一篇学术论文都没看过的我)。但是现在,我看到ilya推荐的论文清单,只有兴奋。因为我马上可以为这27篇论文,指定一个24小时的gpt老师和专属针对性的学习和练习计划,里面涉及的技术问题的讲解,我也很有信心gpt的讲述方法可以让读过中学的人都有办法理解,如果不理解,可以再换一百个角度一百个比喻来讲解。这种信心,我觉得是和gpt前的时代完全不同的。我让gpt把27篇论文简单梳理。摘要。分不同阶段。再提供一下论文的下载链接。如果有必要,让它逐步针对27篇论文,把里面的理论体系形成一整本立体全面相互关联的一本教材也不是不可以的。这种学习体验像魔法一样。所以我感觉可能未来外卖小哥快递小哥保安小哥自学ai成为各个领域大神的故事会越来越多,越来越常见。认为自己因为没有专业背景没读过相应大学专业没做过相应的工作所以不行也不敢尝试,这种想法慢慢会被ai改变。aiwillmakehumanmorehuman

相关推荐

封面图片

OpenAI首席科学家Ilya离职 GPT-4背后天才科学家接任

OpenAI首席科学家Ilya离职GPT-4背后天才科学家接任Ilyapo出一张和OpenAI众元老的合影,做着最后的告别。Ilya离职后,将由JakubPachoki接任OpenAI首席科学家。Pachoki发文,‘Ilya曾向我介绍了深度学习研究的世界,多年来一直是我的导师和伟大的合作者。正是他对深度学习不可思议的愿景,造就了OpenAI和AI领域今天的成就。我深深地感谢他’。网友感慨道,‘一个时代终结了’。别了Ilya,别了OpenAISamAltman转发了Ilya的告别推文,配文说:‘感受今天的AGI。’SamAltman对于Ilya的离开表示非常遗憾,‘他走后的OpenAI不再和从前一样’。但同时转身就官宣了新任的首席科学家JakubPachoki。Ilya即将离开OpenAI,这让我感到非常难过。Ilya无疑是我们这一代最杰出的思想家之一,是我们领域的引路人,也是我亲爱的朋友。他的才华和远见众所周知,他的温情和同理心虽然鲜为人知,但同样不可或缺。没有他,OpenAI不会有今天的成就。尽管他将去从事一些对他个人而言意义重大的工作,但我将永远感激他在这里的贡献,并致力于完成我们共同启动的使命。我很高兴能够长时间与这样一位真正卓越的天才以及如此专注于实现人类最美好未来的人一起合作。Jakub将接任我们的首席科学家。Jakub也无疑是我们这一代顶尖的思想家之一,我对他即将承担这一角色感到非常激动。他曾领导我们许多最关键的项目,我非常确信他能带领我们快速且安全地推进我们的使命,确保AGI惠及每个人。联合创始人GregBrockman更是写了一篇超长的文章,以表对Ilya感谢和怀念。我非常感激Ilya,他不仅是我的联合创始人和朋友,还是我婚礼的证婚人。我们共同规划了OpenAI的未来发展。从2015年末开始,OpenAI作为一个非营利组织,致力于让AGI的发展顺利进行,尽管当时还没有明确方案。在最初的日子里,Ilya和我投入了大量时间,全面深入地考虑了公司的文化、技术方向和战略。我们认识到,为了构建空前的超级计算机,我们需要筹集的资金远超初期预期。在这个非营利组织中,我们共同筹资,虽然超过了他人预期,但仍远未达到需求。后来我们提议,建立一个服务于最初使命的营利性机构。建立之后,我们继续协调和塑造公司的方向,专注于AGI使命,同时解决了许多实际问题,保证每天都有进展。Ilya是一位艺术家。他的远见和热情极具感染力,他帮助我在刚入行时理解这个领域。他勇于深入探索自己直觉的逻辑结论。我们受到1962年出版的《未来简史》的启发(这本书描述了科学家们曾错误地宣称灯泡、飞行和进入轨道是不可能的,而这些成就不久后就实现了)。因此,尽管有人怀疑AGI在可见的未来不可能出现,我们依然根据我们对深度学习的信念,坚持着思考和行动。这个使命还远未完成,OpenAI能成为今天的OpenAI,Ilya发挥了关键作用。感谢他为此付出的一切。去年11月OpenAI的董事会风波中,由于Ilya对公司模型的安全性有所担忧,曾经联合董事会成员发起过反对SamAltman的行动。Ilya博士毕业于多伦多大学,师从于著名的‘人工智能教父’GeoffrayHinton。博士毕业后,他曾在斯坦福大学吴恩达团队和GoogleBrain进行研究工作。2016年,他以联合创始人兼研究总监的身份加盟OpenAI,并在两年后升任为首席科学家。新任首席科学家,GPT-4背后天才接任Ilya的科学家JakubPachocki,自2017年以来一直领导着OpenAI变革性研究计划。Pachocki曾先后担任Dota组、推理组以及深度学习科学团队的研究负责人,并于去年8月起担任OpenAI研究总监一职,领导了GPT-4和OpenAIFive的开发,以及大规模RL和深度学习优化方面的基础研究。他是GPT-4背后主要领导人,更是一位天才科学家。奥特曼曾对Pachocki这样评价道,‘在GPT-4预训练工作,JakubPachocki所展现出的卓越领导力和技术远见是非常了不起的。如果没有他的贡献,我们是无法取得今天的成就’。在此前的MIT采访中,Pachocki将开发如GPT-4这样的语言模型比作‘构建宇宙飞船’——必须确保每一个部件都完美无缺。他还提到,自2018年第一个版本发布以来,GPT模型的基本构建方法并没有太大变化。尽管Pachocki在GPT-4的开发中扮演了关键角色,并且取得了显著成就,但他一直保持低调,很少在媒体前露面。然而,他的成就本身已经足够引人注目。Pachocki对AI的热情始于AlphaGo的发布,当时他意识到深度学习的潜力远超过当时计算机的能力。他在OpenAI开发Dota2游戏机器人的过程中发挥了关键作用,该机器人通过不断自我对战,最终达到了职业水平。2012年,他曾赢得了CodeJam冠军,并获得了10,000美元的奖金。此外,他还在其他编程竞赛中名列前茅,包括2012年ACMICPC世界总决赛(金牌)、2012年TopCoder公开赛和2013年Facebook黑客杯。Pachocki在编程领域所取得的成功,凸显了认知能力在此领域的重要性。他曾在采访中提到,像谷歌CodeJam这类编程竞赛更类似于数学作业或解逻辑题,要想获胜需要极高的认知能力。从这个角度看,谷歌14%没有本科学位的员工,可能与其余86%的员工并无太大差异。加入OpenAI之前,Pachocki曾获得卡内基梅隆大学理论计算机科学博士学位,并在Facebook进行软件工程岗位的实习。网友在线祝福当Sam不再用小写时,你就知道,他这次是认真的。而在留言区,网友们问出的,依旧是那个永恒的问题:‘Ilya,你在OpenAI究竟看到了什么’?还有许多人为Ilya送去祝福。很多人都觉得,Ilya离开后,OpenAI不会再是那个OpenAI了。也有网友对Ilya下一步的去向表示期待。甚至,有人早在去年就做出‘神预言’:Ilya今年会离开。Ilya,再见了。离开OpenAI,奔赴下一站吧。...PC版:https://www.cnbeta.com.tw/articles/soft/1430930.htm手机版:https://m.cnbeta.com.tw/view/1430930.htm

封面图片

最近读的2篇论文非常不错

最近读的2篇论文非常不错1.第一篇是复旦大学和米哈游联合推出的TheRiseandPotentialofLargeLanguageModelBasedAgents:ASurvey最近看Agent代码比较多,这篇论文对Agent做了比较完整的叙述,可以作为理解Agent的框架性知识。https://arxiv.org/pdf/2309.07864.pdf2.第二篇是微软出的GPT-4V(可以输入图片的GPT4)的研究报告TheDawnofLMMs:PreliminaryExplorationswithGPT-4V(ision)看完后只有2个字"震撼",越来越相信AI是未来,而且是不远的未来,为之前失明的GPT增加了双眼,眼与耳朵一起使用对世界的理解进一步加强了。https://arxiv.org/pdf/2309.17421.pdf

封面图片

我们叫 GPT-3 写一篇关于自己的论文,这是它发生的变化

我们叫GPT-3写一篇关于自己的论文,这是它发生的变化https://www.scientificamerican.com/article/we-asked-gpt-3-to-write-an-academic-paper-about-itself-then-we-tried-to-get-it-published/论文本体:https://hal.archives-ouvertes.fr/hal-03701250v1

封面图片

DeepMind 写的一篇论文:Formal Algorithms for Transformers,试图用精确的数学概念和伪代

DeepMind写的一篇论文:,试图用精确的数学概念和伪代码算法来解释所有Transformer类的机器学习算法和训练算法,其中以OpenAI的GPT3和DeepMind自己的Gopher为例用一句话总结大致就是:以词汇表为集合空间的token序列概率分布预测矩阵叠加注意力musk的向量计算,其中还会用到稀疏结构

封面图片

惊喜发现又祛魅一项能力:读论文

惊喜发现又祛魅一项能力:读论文CS专业一路走来被论文折磨,现以为脱离苦海,但又不得不紧跟看LLMSD论文,痛点就是:看不下去,精神涣散啃能读完,但留不脑痕我找到了一个适合自己的方法1⃣祛魅,不畏难与学界的朋友多交谈之后,逐渐理解论文掐头去尾直接看核心思想是可以很快用大白话解释的。我很大程度是因为怕数学、怕文字、怕章节,而不是真的这些概念难。比如Transformer这篇论文公认的“写”得烂。不信权威,祛魅格式。思想一般就两三个创新点。2⃣虚拟心理环境假想我是那些厉害的学界大佬,他们是如何如呼吸一般的读这些论文的呢?预加载他们的心理环境。我会假想自己是一个很厉害的数学学家(然后跳过数学证明hhh)3⃣专注:用划线工具和沉浸式翻译我使用Glasp插件(免费、可notion同步、有数据库管理界面、标签系统),双语阅读可以用沉浸式翻译、Aminer、Yiyibooks哪个顺手用哪个。arxiv论文可以用沉浸式翻译+Glasp直接划线高亮记录和评论,还自动保存数据库方便后期整理。不喜欢经常打断的复制粘贴。划线让我专注。4⃣GPT如何过脑子留下点东西?看完后或看的时候一定要提问。为什么它这样做实验?为什么解决这个问题?解决的怎么样?之后还要做什么?如果比较久远的经典论文,问GPT可以直接得到答复。5⃣自己的话记录这个环节就是强化留给自己脑子的东西。自己写出来的才是真正理解了的概念。用自己的大白话解释一遍,就真的懂论文了。比如我会写“transformer架构就是叠了很多层一样的block,每个block里面有QKV三个矩阵”blablabla推荐从下面的精选开始读经典论文:https://latentbox.com/

封面图片

论文投Nature先问问GPT-4 斯坦福实测5000篇 一半意见跟人类评审没差别

论文投Nature先问问GPT-4斯坦福实测5000篇一半意见跟人类评审没差别GPT-4提出的超50%观点与至少一名人类评审员一致;以及超过82.4%的作者都发现GPT-4给的意见很有帮助。那么,这项研究究竟能给我们带来何种启示?结论是:高质量的人类反馈仍然不可替代;但GPT-4可以帮助作者在正式同行评审前改进初稿。具体来看。实测GPT-4论文评审水平为了证明GPT-4的潜力,研究人员首先用GPT-4创建了一个自动pipeline。它可以解析一整篇PDF格式的论文,提取标题、摘要、图表、表格标题等内容来构建提示语。然后让GPT-4提供评审意见。其中,意见和各顶会的标准一样,共包含四个部分:研究的重要性和新颖性、可以被接受的潜在原因或被拒绝的理由以及改进建议。具体实验从两方面展开。首先是定量实验:读已有论文,生成反馈,然后与真实人类观点系统地比较出重叠部分。在此,团队从Nature正刊和各大子刊挑选了3096篇文章,从ICLR机器学习会议(包含去年和今年)挑选了1709篇,共计4805篇。其中,Nature论文共涉及8745条人类评审意见;ICLR会议涉及6506条。GPT-4给出意见之后,pipeline就在match环节分别提取人类和GPT-4的论点,然后进行语义文本匹配,找到重叠的论点,以此来衡量GPT-4意见的有效性和可靠度。结果是:1、GPT-4意见与人类评审员真实意见显著重叠整体来看,在Nature论文中,GPT-4有57.55%的意见与至少一位人类评审员一致;在ICLR中,这个数字则高达77.18%。再进一步仔细比较GPT-4与每一位评审员的意见之后,团队又发现:GPT-4在Nature论文上和人类评审员的重叠率下降为30.85%,在ICLR上降为39.23%。但这与两位人类审稿人之间的重叠率相当:人类在Nature论文上的平均重叠率为28.58%;在ICLR上为35.25%。此外,他们还通过分析论文的等级水平(oral、spotlight、或是直接被拒绝的)发现:对于水平较弱的论文来说,GPT-4和人类审稿人之间的重叠率更高,可以从上面的30%多升到近50%。这说明,GPT-4对水平较差的论文的鉴别能力很高。作者也因此表示,那些需要更实质性修改才能被接收的论文有福了,大伙儿可以在正式提交前多试试GPT-4给出的修改意见。2、GPT-4可以给出非通用反馈所谓非通用反馈,即GPT-4不会给出一个适用于多篇论文的通用评审意见。在此,作者们衡量了一个“成对重叠率”的指标,结果发现它在Nature和ICLR上都显著降低到了0.43%和3.91%。这说明GPT-4是有针对性的。3、能够在重大、普遍问题上和人类观点一致一般来说,人类反馈中较先出现的意见以及多个评审员都提及的意见,最可能代表重要、普遍的问题。在此,团队也发现,LLM更有可能识别出多个评审员一致认可的常见问题或缺陷。也就是说,GPT-4在大面上是过得去的。4、GPT-4给的意见更强调一些与人类不同的方面研究发现,GPT-4评论研究本身含义的频率是人类的7.27倍,评论研究新颖性的可能性是人类的10.69倍。以及GPT-4和人类都经常建议进行额外的实验,但人类更关注于消融实验,GPT-4更建议在更多数据集上试试。作者表示,这些发现表明,GPT-4和人类评审员在各方面的的重视程度各不相同,两者合作可能带来潜在优势。定量实验之外是用户研究。在此共包括308名来自不同机构的AI和计算生物学领域的研究员,他们都在本次研究中上传了各自的论文给GPT-4进行评审。研究团队收集了他们对GPT-4评审意见的真实反馈。总体而言,超过一半(57.4%)的参与者认为GPT-4生成的反馈很有帮助,包括给到一些人类想不到的点。以及82.4%的调查者认为它比至少一些人类评审员的反馈更有益。此外,还有超过一半的人(50.5%)表示,愿意进一步使用GPT-4等大模型来改进论文。其中一人表示,只需要5分钟GPT-4就给出了结果,这个反馈速度真的非常快,对研究人员改善论文很有帮助。当然,作者指出:GPT-4也有它的局限性。最明显的是它更关注于“整体布局”,缺少特定技术领域(例如模型架构)的深度建议。所以,如作者最后总结:人类评审员的高质量反馈还是不可或缺,但大家可以在正式评审前拿它试试水,弥补遗漏实验和构建等方面的细节。当然,他们也提醒:正式评审中,审稿人应该还是独立参与,不依赖任何LLM。一作都是华人本研究一作共三位,都是华人,都来自斯坦福大学计算机科学学院。他们分别是:梁伟欣,该校博士生,也是斯坦福AI实验室(SAIL)成员。他硕士毕业于斯坦福电气工程专业,本科毕业于浙江大学计算机科学。YuhuiZhang,同博士生在读,研究方向为多模态AI系统。清华本科毕业,斯坦福硕士毕业。曹瀚成,该校五年级博士在读,辅修管理科学与工程,同时加入了斯坦福大学NLP和HCI小组。此前毕业于清华大学电子工程系本科。...PC版:https://www.cnbeta.com.tw/articles/soft/1388425.htm手机版:https://m.cnbeta.com.tw/view/1388425.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人