用KV缓存加速GPT模型的推理过程，用KV(Key-Value)缓存来提高Transformer模型推理的速度 |

：高吞吐量和内存高效的LLM推理和服务引擎，针对LLM模型的推理引擎，具有优化的性能，支持量化和稀疏化等最新优化技术。通过nm-

这个页面汇总了语言模型相关（AI、ML、LLM、Transformer）的最重要的论文，同时还有把各个论文的发布时间和相互的引用

Transformer后继有模！MSRA提出全新大模型基础架构：推理速度8倍提升，内存占用减少70% #抽屉IT

：大型语言模型层级剪枝工具，支持量化技术，通过配置文件定义剪枝任务，旨在提高模型效率和性能 | #工具

黄仁勋对话Transformer论文七大作者：我们被困在原始模型里，还需要更强大的新架构