ChatGPT的前辈GPT-2被塞入Excel表格：体积达1.25GB之巨

ChatGPT的前辈GPT-2被塞入Excel表格：体积达1.25GB之巨 GPT-2的初始版是2019年2月发布的，当年11月有了完整版，参数量15亿，训练数据总量40GB。Anand使用的是精简版GPT-2，参数量仅为1.24亿，不到完整版的十分之一，但就这些能放入Excel，已经十分了不起了。这个特殊表格能接受的输入量只有10 tokens，相比于GTP-4 Turbo 128000 Tokens简直不值一提，但依然值得竖起大拇指。当然它也有一个好处，那就是完全本地运行，不需要连接云端。Anand这么做一是展示Excel的强大，二是方便那些不熟悉AI和大模型玩法的尝鲜者体验。如果你也想体验体验，可以去GitHub上下载这个特殊的表格，但注意不要用Mac运行，很容易崩溃或无响应。 ... PC版： 手机版：

SFW将 OpenAI GPT-2 放到 Excel 里

SFW 将 OpenAI GPT-2 放到 Excel 里 Ishan Anand 将 OpenAI GPT-2 硬生生放到了 Excel 里，体积达到 1.2GB，关键还能正常运行。Spreadsheets-are-all-you-ne-need 使用函数完全在 Excel 中实现了 GPT2 的前向传递。 GPT-2的初始版是2019年2月发布的，参数量15亿，训练数据总量40GB。 Anand 使用精简版GPT-2，参数量为1.24亿。这个特殊表格能接受的输入量只有10 tokens（） 通过使用电子表格，任何人（甚至非开发人员）都可以直接探索和体验“真正的” Transformer 如何在幕后工作 https://github.com/ianand/spreadsheets-are-all-you-need via Gary from Garyの梦呓

OpenAI 用 GPT-4 来解释 GPT-2 的行为

OpenAI 用 GPT-4 来解释 GPT-2 的行为 大语言模型（LLM）像大脑一样，它们是由 “神经元” 组成的，它们观察文本中的一些特定模式，以影响整个模型接下来 “说” 什么。但由于 LLM 中的参数数量多到已经无法由人类解释的程度，因此，LLM 给人一种 “黑盒” 的感觉，并出现了偏见、幻觉、涌现等一系列不好解释的现象。OpenAI 正在开发一种工具，以自动识别 LLM 的哪些部分负责其哪些行为。它使用 GPT-4 来解释其 4 年前发布的只有 30 万个“神经元”（15 亿个参数）的 GPT-2。目前该工具代码和所有的 “神经元” 解释数据已经开源，OpenAI 称该工具还在早期阶段。生成的解释结果并不令人满意，看起来连 GPT-4 都不能太用人类可以理解的语言来解释GPT-2 的行为。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

【ChatGPT“克星”：用AI识别AI生成的文本】GPT-2 Output Detector，是OpenAI联合高校和机构在两

【ChatGPT“克星”：用AI识别AI生成的文本】GPT-2 Output Detector，是OpenAI联合高校和机构在两年前发布的模型。现在面对基于GPT-3的ChatGPT，检测英文生成内容的效果依旧能打，但对生成的中文的识别能力就不那么好了。当然，ChatGPT也能识别出自己生成的文本。 #抽屉IT

GPT-4 有 1.8 万亿参数

GPT-4 有 1.8 万亿参数 OpenAI 今年初公布的新一代大模型 GPT-4 的技术细节泄露，它有 1.8 万亿个参数，利用了 16 个混合专家模型（mixture of experts），每个有 1110 亿个参数，每次前向传递路由经过两个专家模型。它有 550 亿个共享注意力参数，使用了包含 13 万亿 tokens 的数据集训练，tokens 不是唯一的，根据迭代次数计算为更多的 tokens。GPT-4 预训练阶段的上下文长度为 8k，32k 版本是对 8k 微调的结果。如果是在云端进行训练，以 每 A100 小时 1 美元计算，那么一次的训练成本就高达 6300 万美元。不过今天的训练成本能降至 2150 万美元。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

ℹOpenAI 发表全新 GPT-4o 模型，免费/付费 ChatGPT 用户皆能使用#

ℹOpenAI 发表全新 GPT-4o 模型，免费/付费 ChatGPT 用户皆能使用# OpenAI 于稍早的发表会正式推出全新 GPT-4o 模型，整个演示过程可说让人非常惊艳，这也进步太多，特别是在即时回应这块。另外 Op...