最近因为一个契机，我从头开始参与基础大模型的训练开发。亲身经历去实践这个过程令我兴奋，也让我学到很多。有一些心得体会可以分享：

最近因为一个契机，我从头开始参与基础大模型的训练开发。亲身经历去实践这个过程令我兴奋，也让我学到很多。有一些心得体会可以分享： 1. 人们常说GPT模型学习了整个互联网的数据，听上去只要能够把整个互联网爬下来就可以了，这个说法并不准确。训练的原始数据的确是来自互联网（CommonCrawl和私域的内容），但是实际拿来训练用的只是其中的子集一个精心挑选的高质量子集。Sam Altman和Lex Friedman的访谈中说过，他们在数据上的大部分努力是去筛选信息，而不是堆积信息。原始数据需要经过大量的筛选、去重、格式化的处理，这个过程耗时耗力，也往往被忽视，但却是至关重要的。 2. 随着模型的参数上到百亿甚至千亿，很多新的能力开始涌现，而很多工程上的麻烦也随之而来。为了应对如此庞大的数据和模型体量，系统里几乎每个角落都需要优化，从数据处理、切分、训练时的样本和机器分布、梯度下降的稳定性、存储等等，各个方面都需要对应做提升，避免成为短板。一个成功的大模型背后离不开几十上百个细节的工程优化。 3. 一个还不成熟、有待考验的心得：现在想要做一个LLM，你并不需要一支庞大的团队。你只需要不到10个有经验、有行动力、能够高效合作的工程师就可以了。Meta、OpenAI、HuggingFace等团队都为这个生态提供了非常实用的轮子，只要使用得当，就可以获得明显的助力。当然，人数上可以精简，GPU计算资源还是得管够。

#情侣 #关系 分享一下自己的性经历 12岁六年级被同学带坏开始自慰 自那以后开始找影片看 每天都要整一次 有时候两三次欲望很强

#情侣 #关系 分享一下自己的性经历 12岁六年级被同学带坏开始自慰 自那以后开始找影片看 每天都要整一次 有时候两三次欲望很强烈 一直很想找一个女人操 后来上初一 那时候经常听他们高年级说做过爱真的很羡慕 子集也更想快点有这样的经历 后来初一下半年认识一个女生追我 我俩见面第一次就抱着我亲 我没有这样的经历 那时候导的也不多很敏感 亲了十分钟下班都射了内裤里全是 后来我俩在一个没人的地方我摸了她的胸大概有b 感觉非常爽特别留恋 后来分手了 中间谈了两个女生亲嘴了但仅限于此 在自己初二的时候谈了小两岁的女朋友 她六年级 偶然的一个机会去他家玩 有很冲动的感觉 想和他cb 就开始扒她的衣服 最后她死活不让 我用尽了力气才扒掉了她的裤子摸了摸用手进去了 但还是很遗憾没有做 后来每次去他家都很想做 但是一直不让c只让玩 谈了一年 终于在初三的时候和他做了 感觉真的非常爽 特别紧 很快就出来了 后来分手了很寂寞 又开始在陌陌上加pc的 断断续续p了四个不同的女人 后来高一 我的女同桌特别骚 我们两个整天聊骚 坐第一排还摸我的几把 放假我们两个就去酒店c了一晚上 微胖自己动特别爽 后来高二晚上寂寞 又用qq小号随便加同城的 问c不c 问到一个初三的女生 我就大晚上跑她家了 她是第一次 特别紧 没有油 好半天才进去 弄了两次 给他疼的不行了 我就放过他了 后来有聊天 结果有一天贤者时刻脑子抽了给她删掉了 后来又pc两个女的 认识一个新加坡留学回来的和我同岁：当时17 我俩约亲嘴 后来在私人影院就越来越过分 舔她部位 给我吃 慢慢也对我有感情了 我本人比较会聊天长得也不错 但她信教原因不允许18岁之前破 所以我们就没做 后来她追求我 我没有同意 不然这个这么骚肯定能爽得很 挺后悔的 然后到现在（18）谈的这个女朋友 也很骚是第一次 我们两个出去总是在没人的地方做爱 楼梯道 地下室 有机会就做 还玩69 肛交 不过又想换新的女朋友了 因为感觉这个身材不够好 虽然年纪轻轻已经操过9个不同的女人 亲过11个女人 但还是想找一个极品身材的操一次满足自己