月之暗面居然发论文了，刚刷微博才发现。

月之暗面居然发论文了，刚刷微博才发现。 介绍了他们的 LLM 推理服务架构。Mooncake的创新架构使得Kimi能够处理更多请求，同时保证服务质量。 Mooncake的核心思想是将LLM推理过程中的prefill(预填充)和decoding(解码)阶段分离,并以KVCache(键值缓存)为中心进行优化。 它充分利用GPU集群中的CPU、内存和SSD资源来实现一个分布式的KVCache系统,从而提高资源利用率和推理效率。 Mooncake还采用了一系列创新策略来应对长上下文和系统过载等挑战,显著提升了LLM服务的性能和吞吐量。 项目地址：

RT JiayuanOpenAI 刚刚发布了 GPT-4

RT Jiayuan OpenAI 刚刚发布了 GPT-4 GPT-4 是大型多模态模型（large multimodal model），支持图像和文本的输入，并生成文本结果。 这个 thread 会汇总一下有关 GPT-4 的一些信息（包括论文中的一些要点和实际的体验）。