在果壳发了一篇如何训练 AI 服装/模特的文章。

在果壳发了一篇如何训练 AI 服装/模特的文章。 教程链接： 训练思路基本可以 apply 到任何单体概念的训练上，希望有更多朋友能一起出来交流训练思路和经验，我们此刻正在时代的最前沿，往前挖的任何方向都可能埋有宝藏。 btw: 写的时候真的捶胸顿足写不下去，东西实在太多了 谢谢 Biu 帮我修改，我的中文真的不太行哈哈哈哈哈 #AI工作流 #AI的神奇用法

前几天微软发了一篇挺重要的关于 LLM 的论文，但我看不太懂。

前几天微软发了一篇挺重要的关于 LLM 的论文，但我看不太懂。 从社区讨论来看，这个研究可以大幅压缩模型体积，让 120B 大小的模型能在 24G 显存的设备上运行。 再加上一些其他优化我们在消费级设备运行 Llama 70B 也不是什么遥不可及的事情。 论文简介： 《1位大语言模型时代来临：一切大型语言模型均转向1.58位构架》 一种1位的LLM变体，命名为BitNet b1.58。在这个模型里，大语言模型的每个参数（或权重）都是三元的{-1, 0, 1}。它在复杂度和实际应用性能方面与相同模型规模和训练数据的全精度（即FP16或BF16）Transformer大语言模型不相上下，但在延迟、内存、吞吐量和能源消耗方面更具成本效益。 更为重要的是，1.58位LLM定义了新的扩展规律，并为训练新一代既高性能又高效的LLMs提供了方法。此外，它还开启了一个全新的计算范式，并为设计专门针对1位LLMs优化的硬件提供了可能性。 论文：