月之暗面居然发论文了,刚刷微博才发现。

月之暗面居然发论文了,刚刷微博才发现。 介绍了他们的 LLM 推理服务架构。Mooncake的创新架构使得Kimi能够处理更多请求,同时保证服务质量。 Mooncake的核心思想是将LLM推理过程中的prefill(预填充)和decoding(解码)阶段分离,并以KVCache(键值缓存)为中心进行优化。 它充分利用GPU集群中的CPU、内存和SSD资源来实现一个分布式的KVCache系统,从而提高资源利用率和推理效率。 Mooncake还采用了一系列创新策略来应对长上下文和系统过载等挑战,显著提升了LLM服务的性能和吞吐量。 项目地址:

相关推荐

封面图片

阿里云宣布与月之暗面 “联姻”:帮 Kimi 技术突破

阿里云宣布与月之暗面 “联姻”:帮 Kimi 技术突破 阿里云官宣两位新 “代言人” 月之暗面科技有限公司创始人杨植麟和智联招聘集团总裁张月佳,这是月之暗面首次公开与阿里云的合作情况。信息显示,阿里云的算力和大模型服务平台,助力月之暗面提升模型推理效率,加速 Kimi 智能助手实现技术突破。此外,智联招聘集团的大模型应用,也基于阿里云实现快速部署和上线支持。(新浪科技)

封面图片

惊喜发现又祛魅一项能力:读论文

惊喜发现又祛魅一项能力:读论文 CS 专业一路走来被论文折磨,现以为脱离苦海,但又不得不紧跟看 LLM SD 论文,痛点就是:看不下去,精神涣散啃能读完,但留不脑痕 我找到了一个适合自己的方法 1⃣祛魅,不畏难 与学界的朋友多交谈之后,逐渐理解论文掐头去尾直接看核心思想是可以很快用大白话解释的。我很大程度是因为怕数学、怕文字、怕章节,而不是真的这些概念难。 比如 Transformer 这篇论文公认的“写”得烂。 不信权威,祛魅格式。思想一般就两三个创新点。 2⃣虚拟心理环境 假想我是那些厉害的学界大佬,他们是如何如呼吸一般的读这些论文的呢?预加载他们的心理环境。 我会假想自己是一个很厉害的数学学家(然后跳过数学证明 hhh) 3⃣ 专注:用划线工具和沉浸式翻译 我使用 Glasp 插件(免费、可 notion 同步、有数据库管理界面、标签系统),双语阅读可以用沉浸式翻译、Aminer、Yiyibooks 哪个顺手用哪个。 arxiv 论文可以用沉浸式翻译+Glasp 直接划线高亮记录和评论,还自动保存数据库方便后期整理。 不喜欢经常打断的复制粘贴。划线让我专注。 4⃣ GPT 如何过脑子留下点东西? 看完后或看的时候一定要提问。为什么它这样做实验?为什么解决这个问题?解决的怎么样?之后还要做什么? 如果比较久远的经典论文,问 GPT 可以直接得到答复。 5⃣ 自己的话记录 这个环节就是强化留给自己脑子的东西。自己写出来的才是真正理解了的概念。用自己的大白话解释一遍,就真的懂论文了。 比如我会写“transformer 架构就是叠了很多层一样的 block,每个 block 里面有 Q K V 三个矩阵” blablabla 推荐从下面的精选开始读经典论文:

封面图片

:基于开源的 AI 软件工程师,可以理解人类的高级指令,并根据这些指令,分解成步骤,进行相关信息的研究,并编写代码实现目标。

:基于开源的 AI 软件工程师,可以理解人类的高级指令,并根据这些指令,分解成步骤,进行相关信息的研究,并编写代码实现目标。 Devika的系统架构由以下关键组件组成: 用户界面:基于网络的聊天界面,用于与 Devika 交互、查看项目文件以及监控代理的状态。 Agent Core:编排AI规划、推理和执行过程的核心组件。它与各种子代理和模块通信以完成任务。 大型语言模型:Devika 利用Claude、GPT-4和Ollama 的本地 LLM等最先进的语言模型进行自然语言理解、生成和推理。 规划和推理引擎:负责将高层目标分解为可操作的步骤,并根据当前环境做出决策。 研究模块:利用关键字提取和网页浏览功能来收集当前任务的相关信息。 代码编写模块:根据计划、研究结果和用户需求生成代码。支持多种编程语言。 浏览器交互模块:使 Devika 能够根据需要导航网站、提取信息并与 Web 元素交互。 知识库:存储和检索项目特定信息、代码片段和学到的知识,以便高效访问。 数据库:保存项目数据、代理状态和配置设置。

封面图片

库克发微博带货全新M3版MacBook Air:难以置信的轻薄便携设计

库克发微博带货全新M3版MacBook Air:难以置信的轻薄便携设计 据了解,苹果M3版MacBook Air将于3月6日09:00接受订购,3月8日正式发售。M3版MacBook Air主要升级是M3芯片,外观、屏幕、接口,重量等都与之前没有区别。相比搭载M1芯片的MacBook Air机型,M3版速度提升最高达60%;相比搭载最快Intel芯片的MacBook Air机型速度最快达13倍。据悉,M3芯片是行业内第一款采用3nm工艺的PC芯片,配有8核CPU,10核GPU,拥有250亿个晶体管,比M2多了50亿个。同时,M3还采用全新架构GPU,具有行业首创的动态缓存功能,还带来首次登陆Mac的硬件加速光线追踪和网格着色等全新渲染功能,且支持H.264、HEVC、ProRes、ProRes RAW、AV1等多种编解码器。 ... PC版: 手机版:

封面图片

7 月 8 日,阿里云官宣两位新 “代言人” 月之暗面科技有限公司创始人杨植麟和智联招聘集团总裁张月佳。这是月之暗面首次公开与阿

7 月 8 日,阿里云官宣两位新 “代言人” 月之暗面科技有限公司创始人杨植麟和智联招聘集团总裁张月佳。这是月之暗面首次公开与阿里云的合作情况。信息显示,阿里云的算力和大模型服务平台,助力月之暗面提升模型推理效率,加速 Kimi 智能助手实现技术突破。此外,智联招聘集团的大模型应用,也基于阿里云实现快速部署和上线支持。

封面图片

库克发微博称赞M3 MacBook Air是完美笔记本电脑 大批网友涌入反驳

库克发微博称赞M3 MacBook Air是完美笔记本电脑 大批网友涌入反驳 微博发布后,很快就有大量网友涌入评论区吐槽M3 MacBook Air的8GB内存和升级硬盘的价格。有网友表示:“8+256怎么能称完美”“都m3了,怎么乞丐版还是8G,根本不够用”“金子做的内存不是一般人能用得起的”“你看看哪位正常学生买得起你那硬盘?”等等。作为一款2024年发布的旗舰轻薄本,且起售价8999元,M3 MacBook Air依旧采用8GB+256GB起步的内存搭配,放在业内确实少见。当然,苹果也提供内存和SSD的升级服务,但需要加钱。升级16GB内存1500元,升级24GB内存需要3000元,512GB SSD1500元、1TB SSD 3000元、2TB SSD价格高达6000元。值得一提的是,苹果全球产品营销副总裁Bob Borchers曾回应M3 MacBook Pro 8GB内存的质疑。他表示,“我们的内存利用效率更高,并且有内存压缩技术,而且我们内存是基于统一内存架构。”“M3 MacBook Pro上的8GB内存,可能会和其它系统上的16GB内存是比较接近的”Bob Borchers说。对于苹果旗舰笔记本电脑入门还是8GB内存,你怎么看? ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人