- 笔记本没有显卡也能跑大模型

- 笔记本没有显卡也能跑大模型 推理库JittorLLMs有以下几个特点： 成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库； 支持广：目前支持了4种大模型：ChatGLM大模型；华为盘古大模型；BlinkDL的ChatRWKV；国外Meta的LLaMA大模型；后续还将支持MOSS等国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。 可移植：用户不需要修改任何代码，只需要安装Jittor版torch(JTorch)，即可实现模型的迁移，以便于适配各类异构计算设备和环境。 速度快：大模型加载速度慢，Jittor框架通过零拷贝技术，大模型加载开销降低40%，同时，通过元算子自动编译优化，计算性能相比同类框架提升20%以上。

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门 主要内容包括： 大模型简介，何为大模型、大模型特点是什么、LangChain 是什么，针对小白开发者的简单介绍； 如何调用大模型 API，本节介绍了国内外知名大模型产品 API 的多种调用方式，包括调用原生 API、封装为 LangChain LLM、封装为 Fastapi 等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型 API 进行了统一形式封装； 大模型开发流程及架构，大模型应用开发的基本流程、一般思想和本项目的架构分析； 数据库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建； Prompt 设计，如何设计 Prompt 来让大模型完成特定任务，Prompt Engineering 的原则和技巧有哪些； 验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么； 前后端开发，如何使用 Gradio、FastAPI 等框架快速开发大模型 Demo，展示应用能力。

AMD ROCm 6.0发布：新增支持两大GPU显卡、一大AI框架

AMD ROCm 6.0发布：新增支持两大GPU显卡、一大AI框架 如今的ROCm 6.0又迎来了RDNA 3显卡家族的两名新成员：RX 7900 GRE、Radeon PRO W7800。工程师可利用它们进行AI、ML开发，这就进一步拓展了平台范围，降低了开发门槛，无论是性能还是价位都给开发者提供了更多选择。此外，ROCm 6.0还支持了ONNX Runtime，这是一种用于在不同ML框架之间转换AI模型的中间ML框架。因此，开发者可以在本地AMD硬件上以更广泛的源数据执行推理，还可以通过AMD自有的图形推理引擎MIGraphX来处理INT8整数数据此前已支持FP16、FP32浮点数据格式。当然，PyTorch框架是继续支持的，可操作FP16/FP32混合精度数据。随着ROCm 6.0的正式发布，这也预示着AMD正在加快、加深对ROCm开发平台的建设速度，支持的显卡硬件、框架模型越来越多，让开发者可以更自由地从事AI、ML研究，也在NVIDIA CUDA、Intel openAPI之外提供了同样强有力的平台选择。 ... PC版： 手机版：

：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Tr

：高效且高度可配置的大型语言模型(LLM)推理引擎。可以通过简单修改配置文件中的几行内容，而无需编写源代码，来为大多数常见的Transformer模型提供服务。 主要特点 可扩展且高度可配置：使用 Inferflow 服务新模型的典型方法是编辑模型规范文件，但不添加/编辑源代码。我们在 Inferflow 中实现了原子构建块和技术的模块化框架，使其在组合上可推广到新模型。如果该模型中的原子构建块和技术（对于 Inferflow）“已知”，则 Inferflow 可以为该新模型提供服务。 3.5位量化：Inferflow实现2位、3位、3.5位、4位、5位、6位和8位量化。在量化方案中，3.5位量化是Inferflow推出的新方案。 多GPU推理的混合模型分区：Inferflow支持多GPU推理，具有三种模型分区策略可供选择：按层分区（管道并行）、按张量分区（张量并行）和混合分区（混合并行） ）。其他推理引擎很少支持混合分区。 宽文件格式支持（并安全加载pickle数据）：Inferflow支持直接加载多种文件格式的模型，而不依赖于外部转换器。支持的格式包括pickle、safetensors、llama.cpp gguf等。众所周知，使用Python代码读取pickle文件存在安全问题。通过在 C++ 中实现简化的 pickle 解析器，Inferflow 支持从 pickle 数据安全地加载模型。 广泛的网络类型支持：支持三种类型的变压器模型：仅解码器模型、仅编码器模型和编码器-解码器模型。 GPU/CPU混合推理：支持仅GPU、仅CPU、GPU/CPU混合推理。

一个大模型推理系统，仅需对现有项目进行极少量修改，即可完成自定义大模型的推理部署，获得并行扩展的超线性加速。

一个大模型推理系统，仅需对现有项目进行极少量修改，即可完成自定义大模型的推理部署，获得并行扩展的超线性加速。 对于 AI 大模型分布式推理加速，相比英伟达 FasterTransformer 可提升 50% 以上。 项目以 “高性能、高可用、可伸缩” 为理念，深入单实例多设备推理场景，在性能和易用性上兼具优势。

：开源大模型的统一后端接口，支持多种开源大模型

：开源大模型的统一后端接口，支持多种开源大模型 该项目为开源大模型的推理实现统一的接口接口，与OpenAI响应保持一致，具有以下特性： 以OpenAI ChatGPT API这样的方式调用开源分布式大模型 支持流式响应，实现打印机效果 实现文本嵌入模型，为文档知识问答提供支持 支持大规模语言模型开发工具langchain 的广泛功能 要简单的修改环境变量即可将开源模型作为chatgpt的替代模型，为大众应用提供反馈支持 支持加载经过自行训练的lora模型