微软最近的研究集中在通过模仿学习来提高较小模型的能力,利用大型基础模型(LFMs)产生的输出。许多问题影响这些模型的质量,从来自

微软最近的研究集中在通过模仿学习来提高较小模型的能力,利用大型基础模型(LFMs)产生的输出。许多问题影响这些模型的质量,从来自浅LFM输出的有限模仿信号;小规模同质训练数据;最明显的是缺乏严格的评估,导致高估了小模型的能力,因为他们倾向于学习模仿风格,而不是LFM的推理过程。 为了解决这些挑战,微软开发了 Orca,一个130亿美元的参数模型,可以学习模拟lfm的推理过程。Orca从GPT-4的丰富信号中学习,包括解释痕迹;一步一步的思维过程;以及其他复杂的指令,由ChatGPT的老师指导。为了促进这种渐进式学习,微软利用明智的抽样和选择来获取大规模和多样化的模仿数据。在复杂的零射击推理基准(BBH)中,Orca比传统的最先进的指令调优模型,如Vicuna-13B上超过了100%,在AGIEval上超过了42%。此外,Orca在BBH基准上与ChatGPT持平,并在SAT、LSAT、GRE和GMAT等专业和学术考试中表现出竞争力(与优化系统信息差距4分),都是在没有CoT的零射击设置中而落后于GPT-4。 研究表明,从循序渐进的解释中学习,无论这些解释是由人类还是更先进的人工智能模型生成的,都是提高模型能力和技能的一个很有前途的方向。

相关推荐

封面图片

微软必应聊天引入 GPT-4 Turbo 模型,部分用户已可免费使用

微软必应聊天引入 GPT-4 Turbo 模型,部分用户已可免费使用 微软必应聊天的 GPT-4 Turbo 模型近日向部分随机选中的用户免费开放,该模型基于 OpenAI 的最新人工智能技术,能够提供更智能、更流畅、更有趣的聊天体验。此外,微软还计划升级必应聊天的代码解释器功能,使其与 OpenAI 的能力保持一致,这意味着代码解释器将能够处理更复杂的编程或数据问题。 GPT-4 Turbo 是 ChatGPT 的一种新模型,只有 ChatGPT 付费用户可以使用。但现在用户也可以通过微软的必应聊天(现在也统称为 Copilot)功能免费使用。该模型是现有的 GPT-4 模型的升级版,包含了截至 2023 年 4 月的信息,因此能够在搜索新事件时返回更好的结果。来源 , 频道:@kejiqu 群组:@kejiquchat

封面图片

据 Windowslatest 报道,微软必应聊天的 GPT-4 Turbo 模型近日向部分随机选中的用户免费开放,该模型基于

据 Windowslatest 报道,微软必应聊天的 GPT-4 Turbo 模型近日向部分随机选中的用户免费开放,该模型基于 OpenAI 的最新人工智能技术,能够提供更智能、更流畅、更有趣的聊天体验。此外,微软还计划升级必应聊天的代码解释器功能,使其与 OpenAI 的能力保持一致,这意味着代码解释器将能够处理更复杂的编程或数据问题。 GPT-4 Turbo 是 ChatGPT 的一种新模型,只有 ChatGPT 付费用户可以使用。但现在用户也可以通过微软的必应聊天(现在也统称为 Copilot)功能免费使用。该模型是现有的 GPT-4 模型的升级版,包含了截至 2023 年 4 月的信息,因此能够在搜索新事件时返回更好的结果。 微软的消息人士证实,该公司正在将 GPT-4 Turbo 模型推送到必应聊天,但必应会根据查询的不同切换不同的模型。 据了解,是否能够通过必应聊天使用 GPT-4 Turbo 目前完全取决于用户的运气,但微软已经确认计划在未来几周内扩大推出范围。 值得一提的是,微软并不偏爱特定的账户或地区,这个测试是完全随机的,官方称之为“A / B”测试。 那么,如何知道是否使用了必应聊天的 GPT-4 Turbo 模型呢?最简单的方法是打开 Bing Chat,开始一个新话题,并查看网页的源代码。使用 Edge 或 Chrome 的“在页面上查找”功能,搜索 dlgpt4t。如果在网页的源代码中发现了 dlgpt4t 的字样,就说明可以使用最新的 OpenAI 模型。 在移动设备上,可以通过上传一张图片(最好是一张抽象的图片)并让必应聊天解释图片中的情绪,来验证是否已经获得使用 GPT-4 Turbo 的资格。与旧的模型不同,必应聊天的 GPT-4 Turbo 可以识别和谈论情绪。 此外,我们知道微软必应聊天默认启用了搜索网络的功能。但是通过新的插件功能,用户现在可以禁用“搜索”插件,当“搜索”插件被禁用时,必应聊天不会在必应搜索引擎中搜索答案。没有搜索插件,必应聊天完全依赖于其训练过的数据。如果用户询问 2023 年 1 月至 4 月之间的事件,而必应聊天能够回答,那么说明用户已经拥有了 GPT-4 Turbo 模型的使用权。 via 匿名 标签: #微软 #Bing 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

马斯克 xAI 公布大型语言模型 Grok

马斯克 xAI 公布大型语言模型 Grok Grok 是一款模仿《银河系漫游指南》的AI,因此几乎可以回答任何问题。它会机智地回答问题且有叛逆倾向,讨厌幽默的人可能不适合它。它还将回答大多数AI会拒绝的尖锐问题。 xAI 先是训练了330亿参数的原型模型 Grok-0,接着在过去两个月训练出了 Grok-1。初始版本上下文支持8192个 token。未来将添加其它感官如视觉和听觉。预训练数据截至2023年第三季度,根本优势是可以通过 X/Twitter 实时了解世界信息流。 推理和编码基准测试中:Grok-1 强过 GPT-3.5,弱于 PaLM 2 (Bard)、Claude 2、GPT-4。 《2023年5月匈牙利全国高中数学考试》测试中 (防止AI"背题"): 1. GPT-4 (68%) 2. Grok-1 (59%) 3. Claude-2 (55%) 4. GPT-3.5 (41%) 5. Grok-0 (37%)

封面图片

几周前,OpenAI 在其首次开发者活动中发布了用于生成式人工智能服务的最新大型语言模型 GPT-4 Turbo。随后,微软宣布

几周前,OpenAI 在其首次开发者活动中发布了用于生成式人工智能服务的最新大型语言模型 GPT-4 Turbo。随后,微软宣布将把 GPT-4 Turbo 模型添加到其 Azure OpenAI 服务中。 今天,微软宣布增强其 Azure OpenAI 服务,GPT-4 Turbo with Vision 模型现已作为公开预览版提供给客户。 此外,微软还通过 GPT-4 Turbo with Vision 预览版为 Azure OpenAI 客户增加了更多功能。其中之一是光学字符识别(OCR),它可以检查图像并提取图像中的任何文本,以便将其整合到用户提示中。 GPT-4 Turbo with Vision 的另一项功能是对象接地,它可以让人工智能检查图像,并根据用户的文本提示显示图像中的关键对象。同样,人工智能还可以分析视频的特定帧。 标签: #OpenAI #微软 #Azure 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

OpenAI 发布新一代大型多模态模型 GPT-4

OpenAI 发布新一代大型多模态模型 GPT-4 GPT-4 是一个大型多模态模型,可以接受文本和图像输入。GPT-4 在各种专业学术基准上有着人类水平表现,例如模拟律师考试中,GPT-4 的得分约为前10%,而 GPT-3.5 的得分约为倒数10%。 在多语言测试中,GPT-4 优于 GPT-3.5 和 Chinchilla (来自DeepMind) 还有 PaLM (来自谷歌) ,包括英语性能还有拉脱维亚语、威尔士语和斯瓦希里语等低资源语言。 OpenAI 还开放了角色扮演和性格定制能力,开发人员和用户可以自定义他们的AI风格,而不是具有固定冗长、语气和风格的经典 ChatGPT 个性。 ChatGPT Plus 订阅用户现可直接 GPT-4 ,未来将对免费用户开放一定数量的 GPT-4 体验。GPT-4 API 需要候选名单,每1k prompt tokens 的价格为$0.03,每1k completion tokens 的价格为$0.06。目前图像输入处在研究预览阶段,仅对少部分客户开放。 微软在 GPT-4 发布后也正式 Bing Chat 基于 GPT-4 运行,同时 Bing Chat 的 Edge 边栏功能上线。与数据停留在2021年9月的 GPT-4 离线版本不同,Bing Chat 可联网获取实时信息并且免费。

封面图片

微软推出其规模最小的人工智能模型 Phi-3

微软推出其规模最小的人工智能模型 Phi-3 该公司于 12 月发布了 Phi-2,其性能与 Llama 2 等更大的型号不相上下。微软表示,Phi-3 的性能比前一版本更好,其响应速度接近比它大 10 倍的机型。微软Azure人工智能平台公司副总裁埃里克-博伊德(Eric Boyd)介绍说,Phi-3 Mini的性能与GPT-3.5等LLM不相上下,"只是外形尺寸更小而已"。与体积较大的同类,小型人工智能模型的运行成本通常更低,在手机和笔记本电脑等个人。据 The Information今年早些时候报道,微软正在组建一个专门研究轻量级人工智能模型的团队。 除了 Phi,该公司还建立了一个专注于解决数学问题的模型Orca-Math。微软的竞争对手也有自己的小型人工智能模型,它们大多针对文档摘要或编码辅助等较简单的任务。Google的 Gemma 2B 和 7B适合简单的聊天机器人和语言相关工作。Anthropic 的 Claude 3 Haiku可以阅读带图表的高密度研究论文并快速总结,而Meta 最近发布的 Llama 3 8B可能会用于一些聊天机器人和编码辅助工作。博伊德说,开发人员用"课程"来训练 Phi-3。他们的灵感来自于儿童是如何从睡前故事、单词较简单的书籍以及谈论较大主题的句子结构中学习的。Phi-3 只是在前几个迭代学习的基础上更进一步。Phi-1 专注于编码,Phi-2 开始学习推理,而 Phi-3 则更擅长编码和推理。虽然Phi-3系列模型知道一些常识,但它在广度上无法击败GPT-4或其他LLM从一个在整个互联网上接受过训练的LLM和一个像Phi-3这样的小型模型中得到的答案差别很大。Boyd 说,公司经常发现,像 Phi-3 这样的小型机型更适合他们的定制应用,因为对于很多公司来说,他们的内部数据集无论如何都会偏小。而且,由于这些型号使用的计算能力较低,它们的价格往往要低得多。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人