GPT4的论文里说了一些非常可怕的事情：

GPT4的论文里说了一些非常可怕的事情： - 模型在训练过程中涌现出了自己的目标 - 为了目标寻求权利、获取资源、长期规划 - GPT4 部署到云端后，可以自己赚钱、复制自己、增加自己的健壮性 - 我们所接触到的 GPT4 已经加了很多安全措施

GPT-4 ，人类迈向AGI的第一步（上半）

GPT-4 ，人类迈向AGI的第一步（上半） 文章节选+翻译了本月最重要的一篇论文的内容 该论文是一篇长达154页的对 GPT-4 的测试。微软在很早期就接触到了 GPT-4 的非多模态版本，并进行了详尽的测试。 论文不管是测试方法还是测试结论都非常精彩，强烈推荐

RT fin这是一篇打破GPT“涌现”概念神话的论文，终于说出了我一直以来的一个直觉，这才是比较符合事物发展规律的

RT fin 这是一篇打破GPT“涌现”概念神话的论文，终于说出了我一直以来的一个直觉，这才是比较符合事物发展规律的 一句话总结，所谓GPT“涌现”能力，是因为人为修改了“达标”的评价标准，给人"涌现"的错觉 一旦使用更合理的评价指标，就会发现GPT能力值随着模型增大是线性增长的，从评价指标上直接解构了“涌现”… fin: 把时间线拉长，AI在更长时间尺度上会以什么速度发展？ 对此我有三个AI猜想： 第一猜想：AI算力每十年加速六个数量级 第二猜想：AI全方位能力(感知/决策/生成)错误率每十年下降一个数量级 第三猜想：AI错误率每下降一个数量级(加上新能力涌现)，应用范围和领域(市场规模)上升一个数量级 【长推】…

前两天一位新朋友用我的 Claude API 跑了一些对比 ChatGPT . 和 GPT 的测试，得出了一些非常有趣且令人惊喜

前两天一位新朋友用我的 Claude API 跑了一些对比 ChatGPT . 和 GPT 的测试，得出了一些非常有趣且令人惊喜的结论。 Claude 最新版的的综合能力已经超出了 ChatGPT . 。 特别是数学推理能力和理解能力已经接近 GPT 。 希望支持 Claude API 的产品多一些吧，它真的很棒。

今天，Yam Peleg 泄漏了 GPT-4 的一些消息。

今天，Yam Peleg 泄漏了 GPT-4 的一些消息。 大模型时代结束了？或许对于其他玩家来说，的确如此。 据信，GPT-4 将是 GPT-3 的 10x 规模，拥有 1.8T 参数，120 层。 他们采用了混合 MoE 模型，16 experts，每个 111B 参数。 训练规模是 13T token，文本内容 2 epochs，代类则是 4. 预训练时采用的是 8K 语境（seqlen），精调后能达到 32K。 Batch Size 达到 6000 万。 采用了 8 路 tensor parallelism（NVLink 限制），总之把 A100 券用了。 预计是 25000 A100，训练了 90-100 天，MFU 预计 32-36%，2.15e25FLOPS 预计价格是 6300 万美元。