《开源大模型食用指南》基于Linux环境快速部署开源大模型 | #指南

《》基于Linux环境快速部署开源大模型#指南本项目是一个围绕开源大模型、针对国内初学者、基于AutoDL平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。本项目的主要内容包括：基于AutoDL平台（可扩展，例如阿里云）的开源LLM环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；针对国内外主流开源LLM的部署使用教程，包括LLaMA、ChatGLM、InternLM等；开源LLM的部署应用指导，包括命令行调用、在线Demo部署、LangChain框架集成等；开源LLM的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning等。

FFmpeg 5.1开始兼容IPFS文件系统 开发者期待更多开源项目提供支持

FFmpeg5.1开始兼容IPFS文件系统开发者期待更多开源项目提供支持IPFS全称"InterPlanetaryFile-System"协议，可实现在分布式文件系统中支持点对点网络共享，现在FFmpeg5.1已经支持这一协议。实验室的IPFS开发者也在考虑将对该协议的支持扩展到其他开源项目。7月发布的FFmpeg5.1引入了对这种分布式点对点协议的本地IPFS支持。MarkGaiser作为OpenGrant的参与者变成了ProtocolLabs的承包商，最近在IPFS.io上发表了关于FFmpegIPFS实现的博客。如果对FFmpeg的IPFS支持感兴趣，可以看看那篇文章，了解更多关于它的工作方式：https://blog.ipfs.io/2022-08-01-ipfs-and-ffmpeg/还有消息称，从MPlayer分叉出来的MPV视频播放器也将在其下一个版本中支持IPFS。除此之外，开发者还在考虑将IPFS支持扩展到其他开源项目。Kodi和VLC是其他被关注的支持这种分布式文件系统/协议的媒体项目之一。开发者还在寻找其他著名的开源项目或关键的底层的反馈，在这些项目中，用户将有可能看到IPFS的进一步支持。PC版：https://www.cnbeta.com/articles/soft/1302935.htm手机版：https://m.cnbeta.com/view/1302935.htm

Spacedrive 是一个开源的跨平台文件管理器，由用 Rust 编写的虚拟分布式文件系统 ( VDFS ) 提供支持。VDF

是一个开源的跨平台文件管理器，由用Rust编写的虚拟分布式文件系统(VDFS)提供支持。VDFS是一种设计用于在各种存储层之上工作的文件系统。它不限于单台机器，具有统一的API来跨多个设备操作和访问内容，通过维护所有存储位置的虚拟索引、在客户端之间实时同步数据库来实现这一点。此实现还使用CAS（内容可寻址存储）来唯一标识文件，同时记录相对于存储位置的逻辑文件路径Spacedrive正在积极开发中，列出的大部分功能仍处于试验阶段，可能会发生变化。特征注意：链接仅用于突出显示目的，直到功能特定的文档完成。完成：（测试中）·文件发现-扫描设备、驱动器和云帐户以构建包含元数据的所有文件的目录。·预览生成-自动为图像和视频生成较低分辨率的替身。·统计信息-总容量、索引大小、预览媒体大小、可用空间等。进行中：·文件资源管理器-浏览在线/离线存储位置，查看带有元数据的文件，执行基本的CRUD。·实时同步-设备之间实时同步数据索引，优先考虑点对点LAN连接（WiFi同步）待开发（MVP）：·照片-类似于Apple/Google照片的照片和视频专辑。·搜索-使用键绑定深入搜索您的文件系统，包括离线位置。·标签-在自定义标签上定义例程以自动化工作流程，轻松地单独、批量和通过规则自动标记文件。·扩展-在Spacedrive之上构建工具，扩展功能并集成第三方服务。spacedrive.app/extensions上的扩展目录。

ModelScope-Agent: 用开源大型语言模型构建可定制的Agent系统，一个适用于实际应用的通用且可定制的Agent框

:用开源大型语言模型构建可定制的Agent系统，一个适用于实际应用的通用且可定制的Agent框架，基于开源LLM作为控制器具有以下特点：可定制且功能全面的框架：提供可定制的引擎设计，涵盖了数据收集、工具检索、工具注册、存储管理、定制模型训练和实际应用等功能，可用于快速实现实际场景中的应用。开源LLMs作为核心组件：支持在ModelScope社区的多个开源LLMs上进行模型训练。多样化且全面的API：以统一的方式实现与模型API和常见的功能API的无缝集成。为了赋予LLMs工具使用能力，提出了一个全面的框架，涵盖了数据收集、工具检索、工具注册、存储管理、定制模型训练和实际应用的方方面面。

API for Open LLMs：开源大模型的统一后端接口，支持多种开源大模型

：开源大模型的统一后端接口，支持多种开源大模型该项目为开源大模型的推理实现统一的接口接口，与OpenAI响应保持一致，具有以下特性：以OpenAIChatGPTAPI这样的方式调用开源分布式大模型支持流式响应，实现打印机效果实现文本嵌入模型，为文档知识问答提供支持支持大规模语言模型开发工具langchain的广泛功能要简单的修改环境变量即可将开源模型作为chatgpt的替代模型，为大众应用提供反馈支持支持加载经过自行训练的lora模型

SSLRec是一个基于 PyTorch 的深度学习框架，用于通过自我监督学习技术增强的推荐系统。包含常用的数据集、用于数据处理、

SSLRec是一个基于PyTorch的深度学习框架，用于通过自我监督学习技术增强的推荐系统。包含常用的数据集、用于数据处理、训练、测试、评估和最先进的研究模型的代码脚本。SSLRec提供了大量实用函数和易于使用的界面，简化了推荐模型的开发和评估。突出特点灵活的模块化架构。SSLRec库采用模块化架构，可以轻松定制和组合模块。这使用户能够创建适合其特定需求和要求的个性化推荐模型。多样化的推荐场景。SSLRec库是一个多功能工具，适合有兴趣在不同推荐系统研究领域构建有效推荐模型的研究人员和从业者。综合最先进的模型。我们的SSLRec框架为各种场景提供了广泛的SSL增强推荐模型。研究人员可以使用先进技术评估这些模型，并将其作为推动推荐系统领域创新的基础。统一数据馈送和标准评估协议。SSLRec框架具有统一的数据馈送器和标准评估协议，可以轻松加载和预处理来自各种来源和格式的数据，同时确保对推荐模型的客观和公平评估。丰富的实用功能。SSLRec库提供了大量实用函数，可以简化推荐模型的开发和评估。这些功能结合了推荐系统的常见功能以及图操作、网络架构和损失函数的自监督学习。易于使用的界面。我们提供了一个用户友好的界面，可以简化推荐模型的训练和评估。这使得研究人员和从业者能够轻松高效地试验各种模型和配置。#框架