OpenAI CEO：GPT-4“有点糟糕”，今年将推出新模型

OpenAI首席执行官SamAltman在与LexFridman的访谈中表示，他们公司的人工智能模型GPT-4其实“有点糟糕”，Altman更期待即将到来的GPT-5能够真正配得上大家的期待。“我认为它有点糟糕，”当被问及GPT-4及其最令人印象深刻的能力时，Altman说道，“展望未来几年，我们应该意识到我们现在拥有的工具将来看来会非常落后，这正是鞭策我们不断进步、创造更美好的未来的动力。”“别误会，我既不想贬低GPT-4的成就，也不想夸大其词，”阿尔特曼说，“正因我们正处于指数级发展的曲线上，所以很快我们就会像现在看待GPT-3一样看待GPT-4。”Altman认为GPT-4存在“令人惊鸿一瞥的闪光点”，但他指出其最佳用途通常是作为头脑风暴的伙伴，ChatGPT在处理复杂的多步骤问题时几乎没什么用处。当它确实有效时，那种感觉确实神奇，但这种情况少之又少。Altman还指出，他们今年将推出新的模型，不是GPT-5，不过他并未具体说明其名称，只是表示在GPT-5之前还有其它重要的东西需要推出。via匿名标签:#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot

▶ GPT 4: https://openai.com/research/gpt-4

▶GPT4:https://openai.com/research/gpt-4▶APIWaitlist：https://openai.com/waitlist/gpt-4-api▶GPT-4DeveloperLivestreamhttps://m.youtube.com/watch?v=outcGtbnMuQ看图……（后面补了个P9，直播里的手稿拍照转html）邮件原文（翻译byChatGPT）我们已经创建了GPT-4，这是我们最强大的模型。我们今天开始向API用户推出该模型。请于今天（3月14日）下午1点（太平洋时间）加入我们，观看GPT-4的现场演示。▶关于GPT-4由于其更广泛的通用知识和先进的推理能力，GPT-4可以更准确地解决困难问题。▶您可以通过以下方式了解更多信息：·GPT-4概述页面以及早期客户使用该模型构建的内容。·博客文章详细介绍了该模型的功能和局限性，包括评估结果。（一开始的那个链接）▶可用性·API等待列表：请注册我们的等待列表，以获得受限制的GPT-4API访问权限，该API使用与gpt-3.5-turbo相同的ChatCompletionsAPI。我们将从今天开始邀请一些开发人员，并逐渐扩大可用性和速率限制，以平衡容量和需求。（我也放在前面了）·优先访问：开发人员可以通过为OpenAIEvals贡献模型评估来获得GPT-4的优先API访问权限，这将有助于我们改进该模型，使其对所有人都更好。https://github.com/openai/evals·ChatGPTPlus：ChatGPTPlus订户将可以在chat.openai.com上使用GPT-4，并获得动态调整的使用上限。由于我们的容量非常有限，因此使用上限将取决于需求和系统性能。API访问仍将通过等待列表进行。▶API定价·具有8K上下文窗口（约13页文本）的gpt-4将每1K提示令牌收取0.03美元，每1K完成令牌收取0.06美元。·具有32K上下文窗口（约52页文本）的gpt-4-32k将每1K提示令牌收取0.06美元，每1K完成令牌收取0.12美元。▶直播

OpenAI左脚踩右脚登天 让GPT-4帮人类训练GPT-4

OpenAI左脚踩右脚登天让GPT-4帮人类训练GPT-4OpenAI公布，其研究人员训练了一个基于GPT-4的模型，它被称为CriticGPT，用于捕捉ChatGPT代码输出中的错误。简单来说就是，CriticGPT让人能用GPT-4查找GPT-4的错误OpenAI称，如果通过CriticGPT获得帮助审查ChatGPT编写的代码，人类训练者的审查效果比没有获得这种帮助的人强60%；在CriticGPT帮助下，他们得出的批评结论比自己单独做的更全面。群友：狗溜狗关注频道@ZaiHuaPd频道爆料@ZaiHuabot

OpenAI把GPT-4原始版给了EPFL研究团队 不微调只靠提示词能走多远？

OpenAI把GPT-4原始版给了EPFL研究团队不微调只靠提示词能走多远？也就是不用监督微调、也不用RHLF或其他强化学习对齐方法，只靠提示词能走多远？预训练模型，究竟能不能一步登天，直接改造成聊天机器人或AI助手？如果可行，将大大降低类ChatGPT大模型的开发难度。免微调对齐靠谱吗？免微调对齐，让刚出炉的预训练模型不止会“文本补全”，只从提示词中学会和用户对话、跟随指令，一直是业界关注的研究方向。目前的SOTA方法URIAL来自艾伦研究所，使用系统提示词+少数风格示例就能达到不错的效果。但EPFL团队发现，URIAL仍无法完全弥补与指令微调模型的差距，尤其在多轮对话中的表现更差一些。实验中，在Llama系列、Mistral系列和一般人接触不到的GPT-4-Base都观察到这种现象。其中GPT-4-Base的API访问权限从OpenAIResearcherAccessProgram项目中申请到。EPFL团队从这里出发，尝试了各种办法来提升上下文学习的效果。首先他们增加示例的数量，但发现帮助不大，没有随着例子数目增加性能就提升的趋势。这一点跟图像分类、机器翻译等任务还不太一样。然后他们使用了贪心搜索算法，从一大堆示例中选择最佳的添加到上下文。这种方法可以进一步提高性能，但与指令微调模型的差距仍然存在，特别是在AlpacaEval2.0基准测试中。此外他们还发现，贪心搜索为某个特定模型找到的最佳示例，对于其他模型不能可靠地迁移。也就是说，不同的示例适合不同的模型。团队还进行了一系列消融实验，以更多地了解上下文学习的工作原理。他们发现，在MT-Bench这样的综合评测中，示例包含正确的“问题-答案对”至关重要。这与此前大模型在分类任务中，只要有大量示例，部分标签错了也无所谓的发现非常不同。所以最终得出的结论是：即使采用更多复杂的改进方法，完全缩小上下文学习和指令微调之间的差距也有挑战，即使对于非常长上下文的大模型也是如此。论文最后分析，大语言模型可能通过上下文学习只学会了如何模仿例子里的回答风格，但还没有真正理解执行指令的逻辑。指令跟随任务相对还是比较复杂和开放的，没那么容易掌握。想让AI助手更“听话”，暂时还是很难有捷径可走。...PC版：https://www.cnbeta.com.tw/articles/soft/1433339.htm手机版：https://m.cnbeta.com.tw/view/1433339.htm