GPT是如何获得它的能力的？ 追踪语言模型的涌现能力 | 最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留

GPT是如何获得它的能力的？ 追踪语言模型的涌现能力 | 最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是就有一个问题：ChatGPT 是怎么变得这么强的？它的各种强大的能力到底从何而来？在这篇文章中，我们试图剖析 ChatGPT 的突现能力（Emergent Ability），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。 这篇文章旨在能够促进大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。

相关推荐

封面图片

OpenAI 发布新一代大型多模态模型 GPT-4

OpenAI 发布新一代大型多模态模型 GPT-4 GPT-4 是一个大型多模态模型，可以接受文本和图像输入。GPT-4 在各种专业学术基准上有着人类水平表现，例如模拟律师考试中，GPT-4 的得分约为前10%，而 GPT-3.5 的得分约为倒数10%。 在多语言测试中，GPT-4 优于 GPT-3.5 和 Chinchilla (来自DeepMind) 还有 PaLM (来自谷歌) ，包括英语性能还有拉脱维亚语、威尔士语和斯瓦希里语等低资源语言。 OpenAI 还开放了角色扮演和性格定制能力，开发人员和用户可以自定义他们的AI风格，而不是具有固定冗长、语气和风格的经典 ChatGPT 个性。 ChatGPT Plus 订阅用户现可直接 GPT-4 ，未来将对免费用户开放一定数量的 GPT-4 体验。GPT-4 API 需要候选名单，每1k prompt tokens 的价格为$0.03，每1k completion tokens 的价格为$0.06。目前图像输入处在研究预览阶段，仅对少部分客户开放。 微软在 GPT-4 发布后也正式 Bing Chat 基于 GPT-4 运行，同时 Bing Chat 的 Edge 边栏功能上线。与数据停留在2021年9月的 GPT-4 离线版本不同，Bing Chat 可联网获取实时信息并且免费。
封面图片

OpenAI 发布替代 GPT-3.5 的 GPT-4o mini

OpenAI 发布替代 GPT-3.5 的 GPT-4o mini OpenAI 发布了 GPT-4o 模型的小型版本 GPT-4o mini，它将取代 GPT-3.5 Turbo 提供给所有 ChatGPT 用户，包括免费和付费用户。GPT-4o mini 类似 GPT-4o，支持多模，能解释图像、文本和音频，能生成图像。GPT-4o mini 支持 128K 上下文令牌，其数据截至 2023 年 10 月，它的 API 费用比 GPT-3.5 Turbo 低 60%，每百万输入令牌 15 美分，每百万输出令牌 60 美分。GPT-4o mini 将使用名为 instruction hierarchy 的新技术，限制了越狱。 via Solidot
封面图片

【微软发布企业级 Azure OpenAI ChatGPT 服务，GPT-4 将于下周发布】

【微软发布企业级 Azure OpenAI ChatGPT 服务，GPT-4 将于下周发布】 微软发布基于MicrosoftAzure的企业级AzureOpenAIChatGPT服务，允许Azure用户可以使用AI模型（包括Dall-E2、GPT-3.5、Codex和其他由Azure特有的高性能和企业级云服务支撑的大语言模型）加速AI时代的数字化创新。此外，微软德国公司首席技术官安德烈亚斯·布劳恩（AndreasBraun）在AIinFocus-DigitalKickoff活动中投票，GPT-4将在下周发布，将提供多模态模型，会提供完全不同的可能性例如视频。
封面图片

OpenAI 携手 Scale AI，为企业增强 GPT 模型微调功能

OpenAI 携手 Scale AI，为企业增强 GPT 模型微调功能 OpenAI 近日发布新闻稿，宣布和 Scale AI 展开深度合作，在企业环境中增强 GPT-3.5 Turbo 和 GPT-4 大语言模型。 OpenAI 表示通过双方的深度合作，可以帮助企业定制 OpenAI 的大语言模型，满足企业的个性化需求。 OpenAI 在博文中再次强调，通过微调 API 发送的所有数据均为客户财产，不会被 OpenAI 或任何其他实体用于训练其他模型。 Scale AI 在数据标签和 AI 解决方案方面有着独到优势，OpenAI 将其列为“首选合作伙伴”。 来源：、、
封面图片

OpenAI 携手 Scale AI，为企业增强 GPT 模型微调功能

OpenAI 携手 Scale AI，为企业增强 GPT 模型微调功能 OpenAI 近日，宣布和 Scale AI 展开深度合作，在企业环境中增强 GPT-3.5 Turbo 和 GPT-4 大语言模型。OpenAI 表示通过双方的深度合作，可以帮助企业定制 OpenAI 的大语言模型，满足企业的个性化需求。 OpenAI 在博文中再次强调，通过微调 API 发送的所有数据均为客户财产，不会被 OpenAI 或任何其他实体用于训练其他模型。 Scale AI 在数据标签和 AI 解决方案方面有着独到优势，OpenAI 将其列为“首选合作伙伴”。来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot
封面图片

OpenAI 正式公布人工智能语言模型 GPT-4

OpenAI 正式公布人工智能语言模型 GPT-4 3月15日早间，人工智能初创公司 OpenAI 正式公布最新一代人工智能语言模型 GPT-4。 它是 OpenAI 在放大深度学习方面的努力的最新里程碑，是一个大型多模态模型，可接受图像和文本输入，发出文本输出。 GPT-4 对月订阅费20美元 ChatGPT Plus 用户开放使用，同时也会纳入到微软的 Bing 聊天机器人中。 相关链接： - OpenAI-GPT-4 https://openai.com/research/gpt-4 - GPT-4 Developer Livestream http://www.youtube.com/watch?v=outcGtbnMuQ - ChatGPT Plus 访问 GPT-4 https://chat.openai.com - GPT-4 API 候补名单申请 https://openai.com/waitlist/gpt-4-api - 优先获得 API 权限的方法 https://github.com/openai/evals

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人