前几天微软发了一篇挺重要的关于 LLM 的论文，但我看不太懂。

前几天微软发了一篇挺重要的关于 LLM 的论文，但我看不太懂。 从社区讨论来看，这个研究可以大幅压缩模型体积，让 120B 大小的模型能在 24G 显存的设备上运行。 再加上一些其他优化我们在消费级设备运行 Llama 70B 也不是什么遥不可及的事情。 论文简介： 《1位大语言模型时代来临：一切大型语言模型均转向1.58位构架》 一种1位的LLM变体，命名为BitNet b1.58。在这个模型里，大语言模型的每个参数（或权重）都是三元的{-1, 0, 1}。它在复杂度和实际应用性能方面与相同模型规模和训练数据的全精度（即FP16或BF16）Transformer大语言模型不相上下，但在延迟、内存、吞吐量和能源消耗方面更具成本效益。 更为重要的是，1.58位LLM定义了新的扩展规律，并为训练新一代既高性能又高效的LLMs提供了方法。此外，它还开启了一个全新的计算范式，并为设计专门针对1位LLMs优化的硬件提供了可能性。 论文：

「华尔街日报」对英伟达发了一篇长篇报道，认为这家公司的利润过于丰厚了，以致于所有科技公司现在都想挤进GPU市场：

「华尔街日报」对英伟达发了一篇长篇报道，认为这家公司的利润过于丰厚了，以致于所有科技公司现在都想挤进GPU市场： - AI芯片行业，超过80%的算力供给都是由英伟达提供的，这让黄仁勋的分配权力尤为巨大，在众多订单里，他选择哪家公司，那家公司的胜算就多了一分； - 甲骨文的老板说他和马斯克去年约黄仁勋吃饭，那场持续了一个多小时的晚餐里只发生了两件事情，吃寿司，以及乞讨（begging），「没错，我指的就是字面意思上的，乞讨」； - 英伟达上一财年整体营收的1/5，也就是110亿美元，是由一家客户贡献的，这家公司没有透露它的名字这里是记者在玩梗，所有人都知道这家公司是大肆囤积芯片的Meta； - 微软、谷歌和亚马逊等公司在云计算业务上也相当依赖英伟达的发货，三巨头1/4以上的开销都交给了英伟达，高昂的成本让它们极为迫切的想要寻找平替方案； - 短期来看，科技公司自行开发芯片的可行性都相当有限，当然这也可能是出于低调原因，谁都不想立刻就和英伟达成为竞争对手，它们在内部立项研发芯片时都会对外宣称只是补充集群，而不是取代英伟达的芯片，只有微软比较坦然的宣告要和英特尔一起研发新的定制芯片； - 新兴的芯片初创公司Groq同时也是英伟达的竞品发现它的客户普遍都会否认和自己有过业务往来，因为害怕被英伟达惩罚，以致于正常的商业往来像是偷情那样敏感； - 英伟达最新季度的毛利率是76%，这是一个非常可怕的数字，有分析师测算一颗H100芯片的成本略高于3000美元，而其售价则高达25000美元，季度利润同比涨了9倍； - 这些芯片甚至能在金融市场充当等价物，英伟达早前投了一家云计算公司CoreWeave，CoreWeave转头就用融资回去找英伟达买了一大批芯片，然后这些芯片又被CoreWeave当作新一轮融资的抵押品，主打一个硬通货属性； - 面对围攻，英伟达也在巩固自己的护城河，比如它的软件系统对AI程序的支持非常完善，以及公司在行业外延上的能力尤为出色，黄仁勋会参加医疗高峰会议，并对冷冻显微镜、晶体学和分子结构侃侃而谈，他说「我不是炫耀，但还有哪家芯片公司的CEO能够驾驭这些话题呢？英伟达完全能够成为医药行业的合作伙伴。」

相关阅读：关于 #威权主义 的一篇回答：

相关阅读：关于 #威权主义 的一篇回答： 深度好文：#三权分立 如果真的是个好的 #政治制度 ，为什么只在 #美国 成功了？ 为什么 #西方 所有的 #资本主义 国家都不愿意宣布自己是资本主义国家？ 《 #牛津学联辩论 》• #社会主义 #抖音 修改 #威权主义 定义 #英国 首相将中国列为 #威权主义 国家，我使馆强烈谴责，英方这一无端指责有何 #可笑 之处? 敢不敢给老中人科普下什么是威权主义？ #威权 #极权 #英国 #首相 将中国列为 #威权主义 国家，#外交部 强烈谴责

#群友投稿我想投稿一篇关于缅北互联网信息工程的文章，来自纽约时报的报道，昨天刚出来的，纯一手

#群友投稿 我想投稿一篇关于缅北互联网信息工程的文章，来自纽约时报的报道，昨天刚出来的，纯一手 ps～ 点击查看 订阅东南亚悬赏通缉令 t.me/+bSG_NNJH-_83MTRl 投稿爆料联系： @kaidilake