硅谷圈黑客爆料 GPT-4 参数

硅谷圈黑客爆料GPT-4参数在AI博客节目LatentSpace上，GeorgeHotz(iPhone和PS3破解第一人)爆料GPT-4其实只比1750亿参数的GPT-3大一些，任何人都能用8倍资金得到它。GPT-4是一个8路混合模型，由8个2200亿参数的专家模型组合而成，OpenAI使用了不同数据训练了同一个模型8次，然后用了一些技巧使它实际做了16-iter推理，混合模型是在没有新想法时所会做的。——

今天，Yam Peleg 泄漏了 GPT-4 的一些消息。

今天，YamPeleg泄漏了GPT-4的一些消息。大模型时代结束了？或许对于其他玩家来说，的确如此。据信，GPT-4将是GPT-3的10x规模，拥有1.8T参数，120层。他们采用了混合MoE模型，16experts，每个111B参数。训练规模是13Ttoken，文本内容2epochs，代类则是4.预训练时采用的是8K语境（seqlen），精调后能达到32K。BatchSize达到6000万。采用了8路tensorparallelism（NVLink限制），总之把A100券用了。预计是25000A100，训练了90-100天，MFU预计32-36%，2.15e25FLOPS预计价格是6300万美元。

OpenAI左脚踩右脚登天 让GPT-4帮人类训练GPT-4

OpenAI左脚踩右脚登天让GPT-4帮人类训练GPT-4OpenAI公布，其研究人员训练了一个基于GPT-4的模型，它被称为CriticGPT，用于捕捉ChatGPT代码输出中的错误。简单来说就是，CriticGPT让人能用GPT-4查找GPT-4的错误OpenAI称，如果通过CriticGPT获得帮助审查ChatGPT编写的代码，人类训练者的审查效果比没有获得这种帮助的人强60%；在CriticGPT帮助下，他们得出的批评结论比自己单独做的更全面。群友：狗溜狗关注频道@ZaiHuaPd频道爆料@ZaiHuabot

通义千问GPT-4级主力模型降价97%，1块钱200万tokens

通义千问GPT-4级主力模型降价97%，1块钱200万tokens5月21日，阿里云宣布通义千问GPT-4级主力模型Qwen-Long，API输入价格从0.02元/千tokens降至0.0005元/千tokens，直降97%。这意味着，1块钱可以买200万tokens。这款模型最高支持1千万tokens长文本输入，降价后约为GPT-4价格的1/400。（全天候科技）标签:#阿里云#通义千问频道:@GodlyNews1投稿:@GodlyNewsBot

▶ GPT 4: https://openai.com/research/gpt-4

▶GPT4:https://openai.com/research/gpt-4▶APIWaitlist：https://openai.com/waitlist/gpt-4-api▶GPT-4DeveloperLivestreamhttps://m.youtube.com/watch?v=outcGtbnMuQ看图……（后面补了个P9，直播里的手稿拍照转html）邮件原文（翻译byChatGPT）我们已经创建了GPT-4，这是我们最强大的模型。我们今天开始向API用户推出该模型。请于今天（3月14日）下午1点（太平洋时间）加入我们，观看GPT-4的现场演示。▶关于GPT-4由于其更广泛的通用知识和先进的推理能力，GPT-4可以更准确地解决困难问题。▶您可以通过以下方式了解更多信息：·GPT-4概述页面以及早期客户使用该模型构建的内容。·博客文章详细介绍了该模型的功能和局限性，包括评估结果。（一开始的那个链接）▶可用性·API等待列表：请注册我们的等待列表，以获得受限制的GPT-4API访问权限，该API使用与gpt-3.5-turbo相同的ChatCompletionsAPI。我们将从今天开始邀请一些开发人员，并逐渐扩大可用性和速率限制，以平衡容量和需求。（我也放在前面了）·优先访问：开发人员可以通过为OpenAIEvals贡献模型评估来获得GPT-4的优先API访问权限，这将有助于我们改进该模型，使其对所有人都更好。https://github.com/openai/evals·ChatGPTPlus：ChatGPTPlus订户将可以在chat.openai.com上使用GPT-4，并获得动态调整的使用上限。由于我们的容量非常有限，因此使用上限将取决于需求和系统性能。API访问仍将通过等待列表进行。▶API定价·具有8K上下文窗口（约13页文本）的gpt-4将每1K提示令牌收取0.03美元，每1K完成令牌收取0.06美元。·具有32K上下文窗口（约52页文本）的gpt-4-32k将每1K提示令牌收取0.06美元，每1K完成令牌收取0.12美元。▶直播

OpenAI 用 GPT-4 来解释 GPT-2 的行为

OpenAI用GPT-4来解释GPT-2的行为大语言模型（LLM）像大脑一样，它们是由“神经元”组成的，它们观察文本中的一些特定模式，以影响整个模型接下来“说”什么。但由于LLM中的参数数量多到已经无法由人类解释的程度，因此，LLM给人一种“黑盒”的感觉，并出现了偏见、幻觉、涌现等一系列不好解释的现象。OpenAI正在开发一种工具，以自动识别LLM的哪些部分负责其哪些行为。它使用GPT-4来解释其4年前发布的只有30万个“神经元”（15亿个参数）的GPT-2。目前该工具代码和所有的“神经元”解释数据已经开源，OpenAI称该工具还在早期阶段。生成的解释结果并不令人满意，看起来连GPT-4都不能太用人类可以理解的语言来解释GPT-2的行为。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot