- 笔记本没有显卡也能跑大模型

- 笔记本没有显卡也能跑大模型 推理库JittorLLMs有以下几个特点： 成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库； 支持广：目前支持了4种大模型：ChatGLM大模型；华为盘古大模型；BlinkDL的ChatRWKV；国外Meta的LLaMA大模型；后续还将支持MOSS等国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。 可移植：用户不需要修改任何代码，只需要安装Jittor版torch(JTorch)，即可实现模型的迁移，以便于适配各类异构计算设备和环境。 速度快：大模型加载速度慢，Jittor框架通过零拷贝技术，大模型加载开销降低40%，同时，通过元算子自动编译优化，计算性能相比同类框架提升20%以上。

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门 主要内容包括： 大模型简介，何为大模型、大模型特点是什么、LangChain 是什么，针对小白开发者的简单介绍； 如何调用大模型 API，本节介绍了国内外知名大模型产品 API 的多种调用方式，包括调用原生 API、封装为 LangChain LLM、封装为 Fastapi 等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型 API 进行了统一形式封装； 大模型开发流程及架构，大模型应用开发的基本流程、一般思想和本项目的架构分析； 数据库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建； Prompt 设计，如何设计 Prompt 来让大模型完成特定任务，Prompt Engineering 的原则和技巧有哪些； 验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么； 前后端开发，如何使用 Gradio、FastAPI 等框架快速开发大模型 Demo，展示应用能力。

阶跃星辰发布推理模型：要将推理能力融入更多交互形态的大模型

阶跃星辰发布推理模型：要将推理能力融入更多交互形态的大模型 1月16日，国内大模型“六小虎”之一的阶跃星辰发布自研推理模型Step Reasoner mini。在AIME和Math等数学基准测试上与OpenAI o1-mini水平相当。据介绍，Step Reasoner mini是Step系列模型家族的首个推理模型，擅长主动进行规划、尝试和反思，能通过慢思考和反复验证的逻辑机制，提供准确可靠的回…… - 电报频道 - #娟姐新闻: @juanjienews

AMD ROCm 6.0发布：新增支持两大GPU显卡、一大AI框架

AMD ROCm 6.0发布：新增支持两大GPU显卡、一大AI框架 如今的ROCm 6.0又迎来了RDNA 3显卡家族的两名新成员：RX 7900 GRE、Radeon PRO W7800。工程师可利用它们进行AI、ML开发，这就进一步拓展了平台范围，降低了开发门槛，无论是性能还是价位都给开发者提供了更多选择。此外，ROCm 6.0还支持了ONNX Runtime，这是一种用于在不同ML框架之间转换AI模型的中间ML框架。因此，开发者可以在本地AMD硬件上以更广泛的源数据执行推理，还可以通过AMD自有的图形推理引擎MIGraphX来处理INT8整数数据此前已支持FP16、FP32浮点数据格式。当然，PyTorch框架是继续支持的，可操作FP16/FP32混合精度数据。随着ROCm 6.0的正式发布，这也预示着AMD正在加快、加深对ROCm开发平台的建设速度，支持的显卡硬件、框架模型越来越多，让开发者可以更自由地从事AI、ML研究，也在NVIDIA CUDA、Intel openAPI之外提供了同样强有力的平台选择。 ... PC版： 手机版：

：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Tr

：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Transformer模型提供服务。 主要特点 可扩展且高度可配置：使用 Inferflow 服务新模型的典型方法是编辑模型规范文件，但不添加/编辑源代码。我们在 Inferflow 中实现了原子构建块和技术的模块化框架，使其在组合上可推广到新模型。如果该模型中的原子构建块和技术（对于 Inferflow）“已知”，则 Inferflow 可以为该新模型提供服务。 3.5位量化：Inferflow实现2位、3位、3.5位、4位、5位、6位和8位量化。在量化方案中，3.5位量化是Inferflow推出的新方案。 多GPU推理的混合模型分区：Inferflow支持多GPU推理，具有三种模型分区策略可供选择：按层分区（管道并行）、按张量分区（张量并行）和混合分区（混合并行） ）。其他推理引擎很少支持混合分区。 宽文件格式支持（并安全加载pickle数据）：Inferflow支持直接加载多种文件格式的模型，而不依赖于外部转换器。支持的格式包括pickle、safetensors、llama.cpp gguf等。众所周知，使用Python代码读取pickle文件存在安全问题。通过在 C++ 中实现简化的 pickle 解析器，Inferflow 支持从 pickle 数据安全地加载模型。 广泛的网络类型支持：支持三种类型的变压器模型：仅解码器模型、仅编码器模型和编码器-解码器模型。 GPU/CPU混合推理：支持仅GPU、仅CPU、GPU/CPU混合推理。

阿里最新开源推理模型发布：性能比肩DeepSeek-R1

阿里最新开源推理模型发布：性能比肩DeepSeek-R1 阿里通义发布最新开源推理模型，称其性能比肩DeepSeek-R1。3月6日凌晨，阿里巴巴正式发布最新的开源推理模型通义千问QwQ-32B。据介绍，通过大规模强化学习，千问QwQ-32B在数学、代码及通用能力上实现质的飞跃，整体性能比肩DeepSeek-R1，同时大幅降低了部署使用成本，在消费级显卡上也能实现本地部署。QwQ-32B采用了A…… - 电报频道 - #娟姐新闻: @juanjienews