前几天微软发了一篇挺重要的关于 LLM 的论文，但我看不太懂。

前几天微软发了一篇挺重要的关于 LLM 的论文，但我看不太懂。 从社区讨论来看，这个研究可以大幅压缩模型体积，让 120B 大小的模型能在 24G 显存的设备上运行。 再加上一些其他优化我们在消费级设备运行 Llama 70B 也不是什么遥不可及的事情。 论文简介： 《1位大语言模型时代来临：一切大型语言模型均转向1.58位构架》 一种1位的LLM变体，命名为BitNet b1.58。在这个模型里，大语言模型的每个参数（或权重）都是三元的{-1, 0, 1}。它在复杂度和实际应用性能方面与相同模型规模和训练数据的全精度（即FP16或BF16）Transformer大语言模型不相上下，但在延迟、内存、吞吐量和能源消耗方面更具成本效益。 更为重要的是，1.58位LLM定义了新的扩展规律，并为训练新一代既高性能又高效的LLMs提供了方法。此外，它还开启了一个全新的计算范式，并为设计专门针对1位LLMs优化的硬件提供了可能性。 论文：

【推特将允许用户添加长篇文字，Elon Musk被指利用被解雇员工成果邀功】

【推特将允许用户添加长篇文字，Elon Musk被指利用被解雇员工成果邀功】 11月6日消息，已收购社交平台推特（Twitter）的特斯拉CEO Elon Musk发布推文称，推特很快将增加在推文中附加长篇文字的功能，“结束记事本式截图的荒谬做法”。他还说，在这一功能推出之后，将是“所有内容形式的创作者的货币化”。数小时后他又声称将改善推特的搜索功能。“推特的内部搜索让我想起了98年的Infoseek！这也将很快得到很大的改善。” 据悉，在马斯克宣布这一添加长文本的消息后，美国全国广播公司（NBC）记者本·柯林斯迅速指出，在马斯克接管推特之前，推特已经在测试文本共享的功能。“他在利用一些被解雇员工之前所做的工作邀功。”今年2月，独立应用程序研究员简·曼春·黄发现推特正开发用于发布较长信息的“文章”功能的证据。

相关阅读：关于 #威权主义 的一篇回答：

相关阅读：关于 #威权主义 的一篇回答： 深度好文：#三权分立 如果真的是个好的 #政治制度 ，为什么只在 #美国 成功了？ 为什么 #西方 所有的 #资本主义 国家都不愿意宣布自己是资本主义国家？ 《 #牛津学联辩论 》• #社会主义 #抖音 修改 #威权主义 定义 #英国 首相将中国列为 #威权主义 国家，我使馆强烈谴责，英方这一无端指责有何 #可笑 之处? 敢不敢给老中人科普下什么是威权主义？ #威权 #极权 #英国 #首相 将中国列为 #威权主义 国家，#外交部 强烈谴责

#群友投稿我想投稿一篇关于缅北互联网信息工程的文章，来自纽约时报的报道，昨天刚出来的，纯一手

#群友投稿 我想投稿一篇关于缅北互联网信息工程的文章，来自纽约时报的报道，昨天刚出来的，纯一手 ps～ 点击查看 订阅东南亚悬赏通缉令 t.me/+bSG_NNJH-_83MTRl 投稿爆料联系： @kaidilake