最近因为一个契机，我从头开始参与基础大模型的训练开发。亲身经历去实践这个过程令我兴奋，也让我学到很多。有一些心得体会可以分享：

最近因为一个契机，我从头开始参与基础大模型的训练开发。亲身经历去实践这个过程令我兴奋，也让我学到很多。有一些心得体会可以分享：1.人们常说GPT模型学习了整个互联网的数据，听上去只要能够把整个互联网爬下来就可以了，这个说法并不准确。训练的原始数据的确是来自互联网（CommonCrawl和私域的内容），但是实际拿来训练用的只是其中的子集——一个精心挑选的高质量子集。SamAltman和LexFriedman的访谈中说过，他们在数据上的大部分努力是去筛选信息，而不是堆积信息。原始数据需要经过大量的筛选、去重、格式化的处理，这个过程耗时耗力，也往往被忽视，但却是至关重要的。2.随着模型的参数上到百亿甚至千亿，很多新的能力开始涌现，而很多工程上的麻烦也随之而来。为了应对如此庞大的数据和模型体量，系统里几乎每个角落都需要优化，从数据处理、切分、训练时的样本和机器分布、梯度下降的稳定性、存储等等，各个方面都需要对应做提升，避免成为短板。一个成功的大模型背后离不开几十上百个细节的工程优化。3.一个还不成熟、有待考验的心得：现在想要做一个LLM，你并不需要一支庞大的团队。你只需要不到10个有经验、有行动力、能够高效合作的工程师就可以了。Meta、OpenAI、HuggingFace等团队都为这个生态提供了非常实用的轮子，只要使用得当，就可以获得明显的助力。当然，人数上可以精简，GPU计算资源还是得管够。

在Telegram中查看

相关推荐

环京零距离｜一位燕郊业主的诉说：亲身经历，我断供了

@北京大土豆：最近看到环京业主断供的不少，持续下跌4年多，有腰斩的，有膝盖斩的，如果再碰上因为行业不景气影响了收入，断供也就不足为奇了。大家可以关注一下今年全国法拍房的数量，可以用恐怖来形容。别说个人了，开发商好多也没钱“断供”了，证据就是各个城市随处可见的“工抵房”。 // @十年砍柴：这样的断供几乎断绝一个年轻人全家的希望，可能会越来越多。

UnionML：构建和部署机器学习微服务的最简单方法

UnionML：构建和部署机器学习微服务的最简单方法UnionML是一个开源的MLOps框架，旨在减少构建模型并将其部署到生产中的模板和摩擦。你可以通过定义一些核心方法来创建UnionML应用，这些方法会自动捆绑到ML微服务中，首先是模型训练和离线及在线预测。UnionML建立在Flyte之上，为生产你的ML模型提供了一个高级接口，这样你就可以专注于策划一个更好的数据集和改进你的模型。#机器学习#框架

AnyDoor ：可以将任何对象巧妙的放入到新的图像、视频场景中

AnyDoor：可以将任何对象巧妙的放入到新的图像、视频场景中它是一种基于扩散的图像生成器，可以将目标对象（例如，人、动物、物品等）在用户指定的位置以和谐的方式传送到新的场景中。如果你有一个视频，视频中的场景是一个空荡荡的房间，你可以将一个沙发或者一张桌子传送到这个房间中。这个模型在训练过程中学到了如何描述和理解对象的一般特性，而不是特定对象的特性。这种能力被称为“零射击”泛化，意味着模型可以处理在训练数据中没有出现过的新对象。所以它只需要训练一次，然后就可以应用到各种不同的对象和场景组合上。为了实现这个目标，AnyDoor使用了一种名为“细节特征”的技术。这种特征可以保留对象的纹理细节，同时允许对象在不同的环境中进行局部变化，例如照明、方向和姿势等。这使得对象可以和新的场景自然地融合。此外，AnyDoor还使用了一种从视频数据集中借用知识的方法。在视频数据集中，可以观察到单个对象在时间轴上的各种形式，这有助于提高模型的泛化能力和鲁棒性。实验结果表明，AnyDoor的性能优于现有的方法，并且在实际应用中具有巨大的潜力，例如虚拟试穿和对象移动等。#生成器

发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。#AI# #llm

发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。#AI##llm#每个阶段都有清晰的文本、图表和实例来解释相关概念。课程内容包括：1.从基础理解注意力机制2.构建并预训练一个类似于GPT的模型3.学习如何加载预训练的权重4.对模型进行分类任务的微调5.使用直接偏好优化进行指令微调模型课程地址：https://github.com/rasbt/LLMs-from-scratch/tree/main

barco：用C从头开始构建Linux容器

：用C从头开始构建Linux容器这是作者从事的一个项目，旨在根据互联网上的其他指南了解有关Linux容器和Linux内核的更多信息。Linux容器由一组Linux内核功能组成：namespaces：用于将内核对象分组为可由特定进程树访问的不同集合。有不同的类型namespaces，例如，PID命名空间用于隔离进程树，而network命名空间用于隔离网络堆栈。seccomp：用于限制进程可以进行的系统调用（通过系统调用处理）capabilities:用于设置uid0(root)可以执行的操作的限制（通过系统调用处理）cgroups：用于限制进程可以使用的资源（例如内存、磁盘I/O、CPU-tme）（通过cgroupfs处理）。目前，该项目不包含任何自动化测试或记录代码的工具。将来，可能会添加合适的自动化测试和文档工具。

人工智能对人工智能生成的内容进行训练将导致人工智能崩溃

人工智能对人工智能生成的内容进行训练将导致人工智能崩溃用于训练大型语言模型的数据最初来自人类来源，如书籍、文章、照片等，这些都是在没有人工智能的帮助下创建的。但随着越来越多的人使用人工智能来制作和发布内容，一个明显的问题出现了：当人工智能生成的内容在互联网上扩散时，人工智能模型开始对其进行训练。研究人员发现，“在训练中使用模型生成的内容会导致所产生的模型出现不可逆转的缺陷。”他们研究了文本到文本和图像到图像的人工智能生成模型的概率分布，得出结论：“从其他模型产生的数据中学习会导致模型崩溃——这是一个退化的过程，并且随着时间的推移，模型会忘记真正的基础数据分布。”他们观察到模型崩溃发生得如此之快：模型可以迅速忘记它们最初学习的大部分原始数据。这导致它们随着时间的推移，表现越来越差，错误越来越多。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人