微软最近的研究集中在通过模仿学习来提高较小模型的能力,利用大型基础模型(LFMs)产生的输出。许多问题影响这些模型的质量,从来自

微软最近的研究集中在通过模仿学习来提高较小模型的能力,利用大型基础模型(LFMs)产生的输出。许多问题影响这些模型的质量,从来自浅LFM输出的有限模仿信号;小规模同质训练数据;最明显的是缺乏严格的评估,导致高估了小模型的能力,因为他们倾向于学习模仿风格,而不是LFM的推理过程。 为了解决这些挑战,微软开发了 Orca,一个130亿美元的参数模型,可以学习模拟lfm的推理过程。Orca从GPT-4的丰富信号中学习,包括解释痕迹;一步一步的思维过程;以及其他复杂的指令,由ChatGPT的老师指导。为了促进这种渐进式学习,微软利用明智的抽样和选择来获取大规模和多样化的模仿数据。在复杂的零射击推理基准(BBH)中,Orca比传统的最先进的指令调优模型,如Vicuna-13B上超过了100%,在AGIEval上超过了42%。此外,Orca在BBH基准上与ChatGPT持平,并在SAT、LSAT、GRE和GMAT等专业和学术考试中表现出竞争力(与优化系统信息差距4分),都是在没有CoT的零射击设置中而落后于GPT-4。 研究表明,从循序渐进的解释中学习,无论这些解释是由人类还是更先进的人工智能模型生成的,都是提高模型能力和技能的一个很有前途的方向。

相关推荐

封面图片

微软必应聊天引入 GPT-4 Turbo 模型,部分用户已可免费使用

微软必应聊天引入 GPT-4 Turbo 模型,部分用户已可免费使用 微软必应聊天的 GPT-4 Turbo 模型近日向部分随机选中的用户免费开放,该模型基于 OpenAI 的最新人工智能技术,能够提供更智能、更流畅、更有趣的聊天体验。此外,微软还计划升级必应聊天的代码解释器功能,使其与 OpenAI 的能力保持一致,这意味着代码解释器将能够处理更复杂的编程或数据问题。 GPT-4 Turbo 是 ChatGPT 的一种新模型,只有 ChatGPT 付费用户可以使用。但现在用户也可以通过微软的必应聊天(现在也统称为 Copilot)功能免费使用。该模型是现有的 GPT-4 模型的升级版,包含了截至 2023 年 4 月的信息,因此能够在搜索新事件时返回更好的结果。来源 , 频道:@kejiqu 群组:@kejiquchat

封面图片

据 Windowslatest 报道,微软必应聊天的 GPT-4 Turbo 模型近日向部分随机选中的用户免费开放,该模型基于

据 Windowslatest 报道,微软必应聊天的 GPT-4 Turbo 模型近日向部分随机选中的用户免费开放,该模型基于 OpenAI 的最新人工智能技术,能够提供更智能、更流畅、更有趣的聊天体验。此外,微软还计划升级必应聊天的代码解释器功能,使其与 OpenAI 的能力保持一致,这意味着代码解释器将能够处理更复杂的编程或数据问题。 GPT-4 Turbo 是 ChatGPT 的一种新模型,只有 ChatGPT 付费用户可以使用。但现在用户也可以通过微软的必应聊天(现在也统称为 Copilot)功能免费使用。该模型是现有的 GPT-4 模型的升级版,包含了截至 2023 年 4 月的信息,因此能够在搜索新事件时返回更好的结果。 微软的消息人士证实,该公司正在将 GPT-4 Turbo 模型推送到必应聊天,但必应会根据查询的不同切换不同的模型。 据了解,是否能够通过必应聊天使用 GPT-4 Turbo 目前完全取决于用户的运气,但微软已经确认计划在未来几周内扩大推出范围。 值得一提的是,微软并不偏爱特定的账户或地区,这个测试是完全随机的,官方称之为“A / B”测试。 那么,如何知道是否使用了必应聊天的 GPT-4 Turbo 模型呢?最简单的方法是打开 Bing Chat,开始一个新话题,并查看网页的源代码。使用 Edge 或 Chrome 的“在页面上查找”功能,搜索 dlgpt4t。如果在网页的源代码中发现了 dlgpt4t 的字样,就说明可以使用最新的 OpenAI 模型。 在移动设备上,可以通过上传一张图片(最好是一张抽象的图片)并让必应聊天解释图片中的情绪,来验证是否已经获得使用 GPT-4 Turbo 的资格。与旧的模型不同,必应聊天的 GPT-4 Turbo 可以识别和谈论情绪。 此外,我们知道微软必应聊天默认启用了搜索网络的功能。但是通过新的插件功能,用户现在可以禁用“搜索”插件,当“搜索”插件被禁用时,必应聊天不会在必应搜索引擎中搜索答案。没有搜索插件,必应聊天完全依赖于其训练过的数据。如果用户询问 2023 年 1 月至 4 月之间的事件,而必应聊天能够回答,那么说明用户已经拥有了 GPT-4 Turbo 模型的使用权。 via 匿名 标签: #微软 #Bing 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

马斯克 xAI 公布大型语言模型 Grok

马斯克 xAI 公布大型语言模型 Grok Grok 是一款模仿《银河系漫游指南》的AI,因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向,讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。 xAI 先是训练了330亿参数的原型模型 Grok-0,接着在过去两个月训练出了 Grok-1。初始版本上下文支持8192个 token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度,根本优势是可以通过 X/Twitter 实时了解世界信息流。 推理和编码基准测试中:Grok-1 强过 GPT-3.5,弱于 PaLM 2 (Bard)、Claude 2、GPT-4。 《2023年5月匈牙利全国高中数学考试》测试中 (防止AI"背题"): 1. GPT-4 (68%) 2. Grok-1 (59%) 3. Claude-2 (55%) 4. GPT-3.5 (41%) 5. Grok-0 (37%)

封面图片

几周前,OpenAI 在其首次开发者活动中发布了用于生成式人工智能服务的最新大型语言模型 GPT-4 Turbo。随后,微软宣布

几周前,OpenAI 在其首次开发者活动中发布了用于生成式人工智能服务的最新大型语言模型 GPT-4 Turbo。随后,微软宣布将把 GPT-4 Turbo 模型添加到其 Azure OpenAI 服务中。 今天,微软宣布增强其 Azure OpenAI 服务,GPT-4 Turbo with Vision 模型现已作为公开预览版提供给客户。 此外,微软还通过 GPT-4 Turbo with Vision 预览版为 Azure OpenAI 客户增加了更多功能。其中之一是光学字符识别(OCR),它可以检查图像并提取图像中的任何文本,以便将其整合到用户提示中。 GPT-4 Turbo with Vision 的另一项功能是对象接地,它可以让人工智能检查图像,并根据用户的文本提示显示图像中的关键对象。同样,人工智能还可以分析视频的特定帧。 标签: #OpenAI #微软 #Azure 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

OpenAI 发布新一代大型多模态模型 GPT-4

OpenAI 发布新一代大型多模态模型 GPT-4 GPT-4 是一个大型多模态模型,可以接受文本和图像输入。GPT-4 在各种专业学术基准上有着人类水平表现,例如模拟律师考试中,GPT-4 的得分约为前10%,而 GPT-3.5 的得分约为倒数10%。 在多语言测试中,GPT-4 优于 GPT-3.5 和 Chinchilla (来自DeepMind) 还有 PaLM (来自谷歌) ,包括英语性能还有拉脱维亚语、威尔士语和斯瓦希里语等低资源语言。 OpenAI 还开放了角色扮演和性格定制能力,开发人员和用户可以自定义他们的AI风格,而不是具有固定冗长、语气和风格的经典 ChatGPT 个性。 ChatGPT Plus 订阅用户现可直接 GPT-4 ,未来将对免费用户开放一定数量的 GPT-4 体验。GPT-4 API 需要候选名单,每1k prompt tokens 的价格为$0.03,每1k completion tokens 的价格为$0.06。目前图像输入处在研究预览阶段,仅对少部分客户开放。 微软在 GPT-4 发布后也正式 Bing Chat 基于 GPT-4 运行,同时 Bing Chat 的 Edge 边栏功能上线。与数据停留在2021年9月的 GPT-4 离线版本不同,Bing Chat 可联网获取实时信息并且免费。

封面图片

微软入股、数值碾压Meta AI新贵Mistral发布旗舰大模型

微软入股、数值碾压Meta AI新贵Mistral发布旗舰大模型 Mistral AI正式成立于2023年5月。在去年这个时候,创办这家公司的三个法国年轻人还分别在谷歌DeepMind、Facebook上班。到去年12月,随着英伟达、赛富时以及一众华尔街资本挥舞支票,赶忙参与公司价值超4.5亿欧元(接近4.9亿美元)的融资,Mistral AI的市值已然超过20亿美元。(Mistral AI的三位创始人Guillaume Lample, Arthur Mensch, Timothée Lacroix都只有30多岁)发布最新大模型&首个聊天机器人Mistral AI周一宣布,正式推出最新旗舰模型Mistral Large。公司声称该模型具有“顶级的推理能力”,能用于处理复杂的多语言推理任务,包括文本理解、转换和代码生成。在AI理解能力测试基准MMLU的对比中,Mistral Large的得分仅次于GPT-4,略好于Anthropic开发的Claude 2。至于谷歌的Gemini Pro以及Meta的LLaMA 2 70B模型,则被甩开了一个身位。(来源:Mistral AI)据悉,这个模型拥有3.2万tokens的上下文窗口。按照一个token约等于0.75个英文单词的惯用算法,Mistral Large能够一次性从接近2.4万个英文单词的文档中精确提取信息。公司介绍称,该模型对英语、法语、西班牙语、德语和意大利语具有母语级流利程度,并对语法和文化背景有细致的理解。不过与一众大模型一样,实测下来中文也是能用的(后面有测试案例)。当然,最重要的是Mistral AI的开源属性除了使用云服务部署外,还能直接下载部署到本地。与封闭AI模型的龙头OpenAI不同,Mistral AI的大模型可以在“抱抱脸”等代码平台上下载,不过目前还没看到Large模型的文档。(来源:公司官网)公司也在周一发布首个聊天机器人LE CHAT,可以选用刚刚发布的Large模型,以及对延迟、成本进行优化的Mistral Small,还有一个名为Next的下一代原型模型。总而言之,提供了一个试用的窗口。从短暂的上手实测来看,这个模型哪怕使用中文,回答简单的推理题完全没有问题。(来源:LE CHAT)对于美国历史和法国历史,这个模型也能答得上来。不过在追加测试中,这个模型对中国文化历史的了解可以说是....惨不忍睹,不过Mistral本身也没说这个模型懂中国历史。这也是国外开源AI模型存在的通病。(来源:LE CHAT、文心一言)微软收购公司部分股权同样在周一,Mistral AI与微软宣布达成了一项新的合作伙伴关系。从公告上来看,双方的合作主要包含三个方面:1、微软向Mistral AI提供开发和运营模型所需的算力;2、Mistral AI的大模型上架微软云服务,供全球用户部署;3、双方将探索合作,为特定客户制作特定模型。除了提供算力和云服务客户外,这份合作协议也使得微软持有Mistral AI“一小部分股权”。值得一提的是,Mistral这个法文单词的原意指的是“法国吹来的强风”,公司创立的愿景是搞AI其实不需要那么多钱,许多公司白白浪费了非常多的资金。创始人兼首席执行官Arthur Mensch直言,公司要做AI世界里资本效率最高的。Mensch透露,周一发布的Large模型,整个开发成本低于2000万欧元。作为对比,奥尔特曼去年提到过GPT-4的开发成本可能要超过1亿美元。对于微软而言,不管是代表封闭生态的OpenAI,还是开源社区的Mistral或Meta跑赢,公司都将是AI赛道的大赢家。这三家的AI模型都已经上架Azure的云服务,现在美股“股王”还持有前两家公司的股权。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人