API for Open LLMs:开源大模型的统一后端接口,支持多种开源大模型

:开源大模型的统一后端接口,支持多种开源大模型该项目为开源大模型的推理实现统一的接口接口,与OpenAI响应保持一致,具有以下特性:以OpenAIChatGPTAPI这样的方式调用开源分布式大模型支持流式响应,实现打印机效果实现文本嵌入模型,为文档知识问答提供支持支持大规模语言模型开发工具langchain的广泛功能要简单的修改环境变量即可将开源模型作为chatgpt的替代模型,为大众应用提供反馈支持支持加载经过自行训练的lora模型

相关推荐

封面图片

开源的基础模型能力评测框架,提供了一套轻量级、易于使用的评测体系,支持主流大模型的性能评估。

开源的基础模型能力评测框架,提供了一套轻量级、易于使用的评测体系,支持主流大模型的性能评估。其主要特点如下:轻量易用的评估框架:无缝设计,界面直观,依赖性极小,部署轻松,可扩展性极佳,适应多样化评估场景。评估方式灵活多样:支持统一提示模板,评估指标丰富,可个性化定制,满足特定需求。高效、快速的推理部署:支持torch、vLLM等多种模型部署策略,实现多实例部署,实现快速评估流程。公开透明的开源排行榜:维护开放、可追溯、可复制的评估排行榜,由社区更新驱动,以确保透明度和可信度。官方权威评测数据:采用广泛认可的官方评测集,确保评测的公平性和标准化,确保结果具有可比性和可重复性。全面而广泛的模型支持:为广泛的模型提供支持,包括来自Huggingface开源存储库的模型和个人训练的模型,确保全面的覆盖范围。#框架

封面图片

《开源大模型食用指南》基于Linux环境快速部署开源大模型 | #指南

《》基于Linux环境快速部署开源大模型#指南本项目是一个围绕开源大模型、针对国内初学者、基于AutoDL平台的中国宝宝专属大模型教程,针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导,简化开源大模型的部署、使用和应用流程,让更多的普通学生、研究者更好地使用开源大模型,帮助开源、自由的大模型更快融入到普通学习者的生活中。本项目的主要内容包括:基于AutoDL平台(可扩展,例如阿里云)的开源LLM环境配置指南,针对不同模型要求提供不同的详细环境配置步骤;针对国内外主流开源LLM的部署使用教程,包括LLaMA、ChatGLM、InternLM等;开源LLM的部署应用指导,包括命令行调用、在线Demo部署、LangChain框架集成等;开源LLM的全量微调、高效微调方法,包括分布式全量微调、LoRA、ptuning等。

封面图片

开源大模型使用指南 | #指南

#指南本项目是一个围绕开源大模型、针对国内初学者、基于AutoDL平台的中国宝宝专属大模型教程,针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导,简化开源大模型的部署、使用和应用流程,让更多的普通学生、研究者更好地使用开源大模型,帮助开源、自由的大模型更快融入到普通学习者的生活中。本项目的主要内容包括:基于AutoDL平台(可扩展,例如阿里云)的开源LLM环境配置指南,针对不同模型要求提供不同的详细环境配置步骤;针对国内外主流开源LLM的部署使用教程,包括LLaMA、ChatGLM、InternLM等;开源LLM的部署应用指导,包括命令行调用、在线Demo部署、LangChain框架集成等;开源LLM的全量微调、高效微调方法,包括分布式全量微调、LoRA、ptuning等。本项目适合以下学习者:想要使用或体验LLM,但无条件获得或使用相关API;希望长期、低成本、大量应用LLM;对开源LLM感兴趣,想要亲自上手开源LLM;NLP在学,希望进一步学习LLM;希望结合开源LLM,打造领域特色的私域LLM;以及最广大、最普通的学生群体。

封面图片

Stable Audio Open 开源 AI 模型发布

StableAudioOpen开源AI模型发布StabilityAI立足StableDiffusion文生图模型,进一步向音频领域拓展,推出了,可以基于用户输入的提示词,生成高质量音频样本。StableAudioOpen最长可以创建47秒的音乐,非常适合鼓点、乐器旋律、环境音和拟声音效,该开源模型基于transforms扩散模型(DiT),在自动编码器的潜在空间中操作,提高生成音频的质量和多样性。StableAudioOpen目前已经开源,感兴趣的用户可以在上试用。据说它使用了来自FreeSound和FreeMusicArchive等音乐库的486000多种采样进行训练。StabilityAI公司表示:“虽然它可以生成简短的音乐片段,但并不适合完整的歌曲、旋律或人声”。StableAudioOpen和StableAudio2.0不同是,前者为开源模型,专注于短音频片段和音效,而后者能够生成最长3分钟的完整音频。来源,频道:@kejiqu群组:@kejiquchat

封面图片

开源鸿蒙OpenHarmony设备统一互联技术标准重磅发布 华为等共同制定

开源鸿蒙OpenHarmony设备统一互联技术标准重磅发布华为等共同制定OpenHarmony作为智能终端领域发展速度最快的开源操作系统,已覆盖多个行业产品,然而,不同厂家设备间的互联互通问题一直是行业发展的瓶颈。为解决这一问题,OpenHarmony项目群生态委员会成员在2023年11月达成共建设备统一互联技术底座的产业共识,并在2024年第一季度成立了“设备统一互联技术标准筹备组”,启动了相关标准的研究工作。该技术标准的核心是物模型的设计,它定义了普适性、模块化和可扩展三个基本原则,确保设备的基本操作能够实现互联互通。随着OpenHarmony互联业务的不断发展,物模型将不断迭代和扩展,以满足全量互联互通的目标。除了统一物模型,新标准还包括接入与控制接口、投屏、文件分享、符合性测试规范等系列标准,为跨行业、跨厂商设备的互联提供统一的技术规范。这将有助于构建OpenHarmony物联网生态,实现设备间的无缝连接,并提供更流畅、更安全的用户体验。...PC版:https://www.cnbeta.com.tw/articles/soft/1432794.htm手机版:https://m.cnbeta.com.tw/view/1432794.htm

封面图片

中文LLaMA-2 & Alpaca-2大语言模型 (Chinese LLaMA-2 & Alpaca-2 LLMs)

中文LLaMA-2&Alpaca-2大语言模型()本项目基于Meta发布的可商用大模型Llama-2开发,是中文LLaMA&Alpaca大模型的第二期项目,开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表,使用了大规模中文数据进行增量预训练,进一步提升了中文基础语义和指令理解能力,相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。本项目主要内容:针对Llama-2模型增加了新版中文词表,开源了中文LLaMA-2和Alpaca-2大模型了预训练脚本、开源指令精调脚本,用户可根据需要进一步训练模型使用个人电脑的CPU/GPU在本地快速进行大模型仿真和部署体验支持Transformers,llama.cpp,text-Generation-webui,LangChain,vLLM等LLaMA生态目前已开源的模型:Chinese-LLaMA-2-7B,Chinese-Alpaca-2-7B

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人