网络出现普京总统宴请习近平主席国宴菜单：

网络出现普京总统宴请习近平主席国宴菜单： 国宴 来自俄罗斯联邦总统向中华人民共和国主席习近平先生阁下致敬 鲜黄瓜卡累利阿鳟鱼沙拉； 堪察加蟹肉饼配松露油； 炖鸭红汤； 柑橘冰糕； 摩尔曼斯克大比目鱼烘培蔬菜奶酪 或 煎牛排配熏土豆泥 覆盆子慕斯

今天，Yam Peleg 泄漏了 GPT-4 的一些消息。

今天，Yam Peleg 泄漏了 GPT-4 的一些消息。 大模型时代结束了？或许对于其他玩家来说，的确如此。 据信，GPT-4 将是 GPT-3 的 10x 规模，拥有 1.8T 参数，120 层。 他们采用了混合 MoE 模型，16 experts，每个 111B 参数。 训练规模是 13T token，文本内容 2 epochs，代类则是 4. 预训练时采用的是 8K 语境（seqlen），精调后能达到 32K。 Batch Size 达到 6000 万。 采用了 8 路 tensor parallelism（NVLink 限制），总之把 A100 券用了。 预计是 25000 A100，训练了 90-100 天，MFU 预计 32-36%，2.15e25FLOPS 预计价格是 6300 万美元。