两期和大模型有关的播客，值得一听。

两期和大模型有关的播客，值得一听。 1. 《AI大神贾扬清离职阿里后首次受访:创业为什么不做大模型》，贾扬清老师出来创业，没有选择去做基础大模型，而选择了去做应用开发平台，以下是他对大模型时代的几个基本判断： 1. 开源主导的模式会成为主流。在 AI 领域，模型的保鲜期（shelf life）基本上是一年左右。以 2012 年 AlexNet 为例，6 个月到一年之后就会出现效果接近的模型，基本都是如此。基于开源与公开数据集，我们已经可以训练出非常高质量的模型。因此，我自己的判断是开源主导的模式会成为主流。 2. AI 更像应用，而不像数据库。这是因为像微服务这种写应用的指导很难标准化，基本上没有一个像 SQL 这样的统一标准。 3. 聊天机器人并非应用形态的全部。实际应用中，产品的形态不会是纯问答模式，企业可能有不同的使用形态。 4. AI时代有构建应用开发平台的机会。在开源模型的基础上，如何帮助开发者在各类应用模式与交互模式中，更容易地使用这些语言模型，包括如何更好地部署模型，是否有更弹性的、更稳定的、更低成本的部署模式，等等，这些是更明确的用户需求。这需要有平台作支撑，这可能是主要需求之一。衡量这个平台的关键指标，一个是开发者效率，另一个是核心系统性能指标，即在有限的资源里面，能够帮助用户拉起来多少数量的服务，以及多少体量的服务。这是我们团队创业要解决的问题。 - 2. 《大白话聊 ChatGPT（Sarah & 王建硕）》，建硕老师的这期播客，虽然是面向零基础小白的，但表达得非常清晰，听下来还是有不少启发。一些核心的观点摘录： 1. 关于GPT原理最为精准的类比来自Ted Chung：GPT就是将人类知识压缩成一张模糊的JPG（然后再用超分辨率的方式还原出来，过程中还原得不精准的地方就是“幻觉”，Hallucination）。建硕老师自己对GPT4的类比是阿帕奇，同时将GPT4的训练数据类比为阿帕奇的帮助文档； 2. GPT分为“快思考”（系统1）和“慢思考”（系统2）。快思考可以类比为“顺口溜” - 唐诗听多了，不会吟诗也会吟；慢思考（chain of thoughts）是指GPT4可以通过步骤拆解来提高正确率； 3. 交互方面，经历了 BUI（Button User Interface，按键交互）、CUI（Command User Interface，命令行交互）、GUI（Graphic User Interface，图形界面交互）之后，大模型时代的交互方式变成了LUI（Language User Interface，自然语言交互，建硕老师自己的定义）； 4. 类比互联网的发展历程，目前Web3所处的节点相当于互联网的1979年，DNS等很多协议都出来了，但还缺少一个定义性的体验时刻，而AI所处的节点相当于互联网的1994年，浏览器出来的时刻。不幸的是，在此之前的NLP等技术都可以宣告被淘汰了，而幸运的是，浏览器本身只是一扇门，真正的机会属于千千万万的网站和应用。目前大模型的竞争类似于微软和网景对浏览器入口的争夺，尽管微软赢了，但也因此错失了后面整整的一个时代； 5. AI时代的生态想像：很多小机器人相互之间用API连接调用，最终通过一个LUI和终端用户互动。由于小机器人很多，因此需要通过一套类似域名的寻址系统来访问 - 这也是建硕老师正在做的一种服务； 6. GPT4本身并没有太多科研层面上的创新，但这并不妨碍它的伟大。人类历史上的很多伟大的时刻，例如发现新大陆、登月、发明iPhone等等，本质上都是工程的胜利； 7. 尽管国内大模型目前落后GPT4很多，但按照目前投入的财力和决心，最终一定可以做出效果相当的大模型。这就跟哥伦布发现新大陆以后，第二次再去新大陆的难度是一样的。已经有前人指出了一条明路，站在巨人的肩膀之上，难度会低很多； 8. GPT4肯定有智能，但肯定没有自我意识。问题是，人类也很难说自己有自我意识，很多时候只是在自作多情而已。很多时候，我们的人生只是各种硬件（DNA、身体结构）+软件（文化、历史、习惯、教育）所运行出来的结果而已； 9. 失业潮不会到来的，因为历史上的每一次技术革新都创造了新的工作。（这点持保留意见）贫富差距可能会变大，政府可能需要在财政制度上做出相应的调整，来进行财富的重新分配； 10. 对版权、隐私、垃圾内容、虚假信息等问题不必过份担心，这是新事物出现的必然产物，随着社会的发展都会得到自然解决。不要因噎废食； 11. GPT4有可能会促进社会的共识 - 在推荐时代，千人千面的算法让每个人都陷入自己的信息茧房，让社会空前割裂。这可能会在大模型时代得到某种修正。大模型再次让大家看到了一致的世界，在同一个场景下进行有益地讨论（这点持保留意见）； 12. 做一个科技乐观主义者，相信科技会造福人类，同时尽自己所能来帮助年轻人来更好地体验这个新世界。

在Telegram中查看

相关推荐

GPT4模型已更新到2023年4月

GPT4模型已更新到2023年4月之前ChatGPT的模型一直在2021年9月，很多新发生的事情都不知道。现在ChatGPT Plus里的GPT4模型已更新到2023年4月，不过GPT4的API依然还是2021年9月。

北大卢菁：1. 训练起来大模型和训练出有通用能力的模型完全是两码事。

北大卢菁： 1. 训练起来大模型和训练出有通用能力的模型完全是两码事。目前国内大模型只能说训练起来了，但是远无技术壁垒，这是大厂本就应该具备的能力，并不值得骄傲。 2. 具备通用能力的大模型，入门参数量可能不是GPT3.5的175B，可能是GPT4的1.8T。而且这仅仅是必要条件，大规模的高质量语料也许才是现阶段除OpenAI以外其他企业真正的瓶颈所在。 3. 如果瓶颈真的在语料，我很悲观这会成为比芯片更大的壁垒。因为人类最高质量的语料是书籍和论文，而真正高质量的书籍和论文掌握在西方世界手里。 4. 现阶段，最关键的是把智能做上去。诸如长文本建模，性能优化，应用场景这些一点都不关键。至少对有出息企业来说是这样，如果只是想做做应用就另当别论了。 5. 拿Llama2 Finetune刷榜意义不大，在特定数据集上刷得比GPT-4高并不能说明任何问题。国内厂商最搞笑的是把C-eval的数据丢进训练集里面，然后再在C-eval上刷榜，各种吊打GPT，这种行为跟芯片造假的性质差不多，让国人认不清差距，以为GPT-4根本没有什么壁垒，国内厂商已经很接近了。事实是，如果GPT4是100分的话，国产的大模型能拿个10分已经烧高香了。 6. 知识能力可能不是个事，GPT4除了四则运算会犯傻逼错误之外，很少犯傻逼错误。而且推理能力比其他模型要强太多太多，我想其中可能有特别的建模方式，不清楚是不是RLHF带来的收益。 7. 数学能力不是做算术，也不是做高考题。而是有数学直觉，推导，证明的能力。目前我只在GPT4上看到了拥有数学直觉，但证明的能力还很欠缺。 8. 流量不是大模型要考虑的事情，大模型要解决的是人类面临的难题，比如解决人类还没解决的科学问题去扩展人类的智能；帮助企业做商业计划优化市场经济；帮助社会建立更健全体系等等，达到千金一Token的效果。否则只是陪用户聊天，ROI很难做正。 9. 在国内做LLM其实竞争不大，因为大家做事都太急太糙，目前看来大家都没太大出息。预计两年内不会有太好的成果，而我也非常期待被打脸。 10. 两个东西需要重新思考：在过去做不Work的想法，也许在大模型下可以重新尝试，说不定就Work了；在小模型下做Work的想法，也许在一定规模之后就不再Work了。原因很简单，过去不Work的做法也许只是模型能力不够无法按照我们的预期去拟合；

大语言模型走红之后，LUI（Language User Interface）或CUI（Conversational User I

大语言模型走红之后，LUI（Language User Interface）或CUI（Conversational User Interface）这个概念也火了，即基于自然语言或者对话的交互方式。但在模型能力还不够强的时候，所谓LUI或者CUI就很可能变成罗永浩做锤子TNT操作系统的笑话：“回车，回车，往左一格，输入…” ，显而易见的是，语言在大多数时候下是不适合需要精确控制的交互任务的。但是真正的LUI/CUI现实生活中已经有了，例如老板说：“小张，给我准备一个第三季度的汇报ppt，要高端大气上档次。”“看一下去年我们前十大客户是谁，做个按销售金额排序，拆分项目的表出来。”，这都是典型基于自然语言的交互（狗头因此如果模型够强大，LUI/CUI的重点并不是interaction，而是instruction，让每个人都能过上Boss的生活。不如换个名字，叫BUI（Boss User Interface）更加符合预期。

和 @PepsinY 昨晚做非完备逻辑推理测试，Claude+和GPT4是唯二的能猜到凶手的模型，谷歌的用英文测了不行，完全不理

和 @PepsinY 昨晚做非完备逻辑推理测试，Claude+和GPT4是唯二的能猜到凶手的模型，谷歌的用英文测了不行，完全不理解要干嘛。至于 Claude+和GPT4谁强呢？还是 GPT4，因为删除最后半句话后只有GPT4还能猜出凶手。

根据 Meta 自有模型和GPT4的打分比较。

根据 Meta 自有模型和GPT4的打分比较。通过自有模型打分，Llama2在v3的时候就打赢了ChatGPT3.5 v5 的时候胜率接近 70%，都没用到 PPO v5 加了PPO之后进一步拔高了上限，到达 75% 左右。通过GPT4打分的话，在v5才超过 ChatGPT 3.5

GPT4模型与GPT4-Turbo模型的区别

GPT4模型与GPT4-Turbo模型的区别 GPT-4和GPT-4 Turbo都是由OpenAI开发的自然语言处理模型。 1⃣ 大小和参数：GPT-4是一个更大的模型，拥有1.75万亿个参数，而GPT-4 Turbo是一个更小的模型，参数数量较少。这意味着GPT-4在处理更复杂的任务和生成更长的文本时可能会更出色，而GPT-4 Turbo则更适合于快速响应和简短的文本生成。 2⃣ 速度和效率：由于GPT-4 Turbo的参数数量较少，它在处理任务时通常会更快，更高效。这使得GPT-4 Turbo更适合于实时应用和对响应时间要求较高的场景。 3⃣ 适用场景：GPT-4适用于更广泛的应用场景，包括但不限于自然语言生成、问答系统、对话系统、摘要生成等。而GPT-4 Turbo更适合于一些简单的任务，如快速回答问题、提供简短的建议或摘要等。 4⃣ 成本：由于GPT-4的计算资源需求更高，因此其使用成本通常会更高。而GPT-4 Turbo由于其更小的模型和更高的效率，其使用成本通常会更低。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人