今天，Yam Peleg 泄漏了 GPT-4 的一些消息。

今天，YamPeleg泄漏了GPT-4的一些消息。大模型时代结束了？或许对于其他玩家来说，的确如此。据信，GPT-4将是GPT-3的10x规模，拥有1.8T参数，120层。他们采用了混合MoE模型，16experts，每个111B参数。训练规模是13Ttoken，文本内容2epochs，代类则是4.预训练时采用的是8K语境（seqlen），精调后能达到32K。BatchSize达到6000万。采用了8路tensorparallelism（NVLink限制），总之把A100券用了。预计是25000A100，训练了90-100天，MFU预计32-36%，2.15e25FLOPS预计价格是6300万美元。

【《面对洗脑教育，家长就要尽力多做一些》（上）】

【《面对洗脑教育，家长就要尽力多做一些》（上）】作者：#钟剑华PostedonIG@cootl_hk阅读全文：https://cootl.org/#/post/1326//大家可以看见，今天大陆的年轻世代，除了少数能够表现出较为合理的价值观及世界观之外，主要不外乎是几类人。第一类是那些十分盲目，有时表现得近乎无知的所谓小粉红式人物，他们满脑子都是十分偏狭的民族沙文主义思想，对政治权势有种近乎盲目的顺从，甚至崇拜，因此只会随着中共宣传的指挥棒来起舞。这一类人，往往表现得理曲气壮，对政治宣传及权势的歪理全盘接受。但另一方面，却又有一棵很容易便会被触动的脆弱玻璃心，因为他们不会有同理心，没有设身处地的能力，对另类意见有种近乎野蛮的斗性。这种性格，很容易就会被政治权势煽动而武器化起来。在这种宣传教育下成为主流的第二类人，就是那些早晚都会洞悉世情，知道所接收的一切充满虚伪及欺骗性的人。这一类人又会发展成为两种不同的人生取态。要不就会随波逐流，选择做顺民。要不就会成为精致的利己主义者，自甘成为制度的从犯。//#洗脑教育#video#洗脑#移民#国民教育#盲目忠诚#无脑效忠