计图大模型推理库 - 笔记本没有显卡也能跑大模型

计图大模型推理库 - 笔记本没有显卡也能跑大模型 本大模型推理库JittorLLMs有以下几个特点： 1. 成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库； 2. 支持广：目前支持了4种大模型：ChatGLM大模型；鹏程盘古大模型；BlinkDL的ChatRWKV；国外Meta的LLaMA大模型；后续还将支持MOSS等国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。 3. 可移植：用户不需要修改任何代码，只需要安装Jittor版torch(JTorch)，即可实现模型的迁移，以便于适配各类异构计算设备和环境。 4. 速度快：大模型加载速度慢，Jittor框架通过零拷贝技术，大模型加载开销降低40%，同时，通过元算子自动编译优化，计算性能相比同类框架提升20%以上。 |

《》基于Linux环境快速部署开源大模型 | #指南

《》基于Linux环境快速部署开源大模型 | #指南 本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。 本项目的主要内容包括： 基于 AutoDL 平台（可扩展，例如阿里云）的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤； 针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等； 开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等； 开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。

AMD ROCm 6.0发布：新增支持两大GPU显卡、一大AI框架

AMD ROCm 6.0发布：新增支持两大GPU显卡、一大AI框架 如今的ROCm 6.0又迎来了RDNA 3显卡家族的两名新成员：RX 7900 GRE、Radeon PRO W7800。工程师可利用它们进行AI、ML开发，这就进一步拓展了平台范围，降低了开发门槛，无论是性能还是价位都给开发者提供了更多选择。此外，ROCm 6.0还支持了ONNX Runtime，这是一种用于在不同ML框架之间转换AI模型的中间ML框架。因此，开发者可以在本地AMD硬件上以更广泛的源数据执行推理，还可以通过AMD自有的图形推理引擎MIGraphX来处理INT8整数数据此前已支持FP16、FP32浮点数据格式。当然，PyTorch框架是继续支持的，可操作FP16/FP32混合精度数据。随着ROCm 6.0的正式发布，这也预示着AMD正在加快、加深对ROCm开发平台的建设速度，支持的显卡硬件、框架模型越来越多，让开发者可以更自由地从事AI、ML研究，也在NVIDIA CUDA、Intel openAPI之外提供了同样强有力的平台选择。 ... PC版： 手机版：

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门

：旨在帮助小白开发者通过实践构建个人知识库助手，学习大模型应用开发的基础入门 主要内容包括： 大模型简介，何为大模型、大模型特点是什么、LangChain 是什么，针对小白开发者的简单介绍； 如何调用大模型 API，本节介绍了国内外知名大模型产品 API 的多种调用方式，包括调用原生 API、封装为 LangChain LLM、封装为 Fastapi 等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型 API 进行了统一形式封装； 大模型开发流程及架构，大模型应用开发的基本流程、一般思想和本项目的架构分析； 数据库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建； Prompt 设计，如何设计 Prompt 来让大模型完成特定任务，Prompt Engineering 的原则和技巧有哪些； 验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么； 前后端开发，如何使用 Gradio、FastAPI 等框架快速开发大模型 Demo，展示应用能力。

开源的基础模型能力评测框架，提供了一套轻量级、易于使用的评测体系，支持主流大模型的性能评估。

开源的基础模型能力评测框架，提供了一套轻量级、易于使用的评测体系，支持主流大模型的性能评估。 其主要特点如下： 轻量易用的评估框架：无缝设计，界面直观，依赖性极小，部署轻松，可扩展性极佳，适应多样化评估场景。 评估方式灵活多样：支持统一提示模板，评估指标丰富，可个性化定制，满足特定需求。 高效、快速的推理部署：支持torch、vLLM等多种模型部署策略，实现多实例部署，实现快速评估流程。 公开透明的开源排行榜：维护开放、可追溯、可复制的评估排行榜，由社区更新驱动，以确保透明度和可信度。 官方权威评测数据：采用广泛认可的官方评测集，确保评测的公平性和标准化，确保结果具有可比性和可重复性。 全面而广泛的模型支持：为广泛的模型提供支持，包括来自 Huggingface 开源存储库的模型和个人训练的模型，确保全面的覆盖范围。 | #框架

：开源大模型的统一后端接口，支持多种开源大模型

：开源大模型的统一后端接口，支持多种开源大模型 该项目为开源大模型的推理实现统一的接口接口，与OpenAI响应保持一致，具有以下特性： 以OpenAI ChatGPT API这样的方式调用开源分布式大模型 支持流式响应，实现打印机效果 实现文本嵌入模型，为文档知识问答提供支持 支持大规模语言模型开发工具langchain 的广泛功能 要简单的修改环境变量即可将开源模型作为chatgpt的替代模型，为大众应用提供反馈支持 支持加载经过自行训练的lora模型