:开源大模型的统一后端接口,支持多种开源大模型

:开源大模型的统一后端接口,支持多种开源大模型 该项目为开源大模型的推理实现统一的接口接口,与OpenAI响应保持一致,具有以下特性: 以OpenAI ChatGPT API这样的方式调用开源分布式大模型 支持流式响应,实现打印机效果 实现文本嵌入模型,为文档知识问答提供支持 支持大规模语言模型开发工具langchain 的广泛功能 要简单的修改环境变量即可将开源模型作为chatgpt的替代模型,为大众应用提供反馈支持 支持加载经过自行训练的lora模型

相关推荐

封面图片

开源的基础模型能力评测框架,提供了一套轻量级、易于使用的评测体系,支持主流大模型的性能评估。

开源的基础模型能力评测框架,提供了一套轻量级、易于使用的评测体系,支持主流大模型的性能评估。 其主要特点如下: 轻量易用的评估框架:无缝设计,界面直观,依赖性极小,部署轻松,可扩展性极佳,适应多样化评估场景。 评估方式灵活多样:支持统一提示模板,评估指标丰富,可个性化定制,满足特定需求。 高效、快速的推理部署:支持torch、vLLM等多种模型部署策略,实现多实例部署,实现快速评估流程。 公开透明的开源排行榜:维护开放、可追溯、可复制的评估排行榜,由社区更新驱动,以确保透明度和可信度。 官方权威评测数据:采用广泛认可的官方评测集,确保评测的公平性和标准化,确保结果具有可比性和可重复性。 全面而广泛的模型支持:为广泛的模型提供支持,包括来自 Huggingface 开源存储库的模型和个人训练的模型,确保全面的覆盖范围。 | #框架

封面图片

#小众软件Jan – 免费的 ChatGPT 开源替代:使用开源 AI 模型,在自己电脑上运行大语言模型,100% 离线

#小众软件 Jan – 免费的 ChatGPT 开源替代:使用开源 AI 模型,在自己电脑上运行大语言模型,100% 离线 Tags: #AI, #linux, #macOS, #Windows, #ChatGPT, #大语言模型, #开源

封面图片

现在发展到连 OpenAI 也要出开源的大语言模型了。

现在发展到连 OpenAI 也要出开源的大语言模型了。 这是很良性的竞争,让我们多支持下 OpenAI 以外的模型。 anton: Wait what. This is one of those big if true moments for LLMs

封面图片

开源 AI、大模型和许可证

开源 AI、大模型和许可证 在前不久举行的 FOSDEM 2024 会议上,有多场演讲探讨了开源 AI、许可证中的伦理限制和开源数据集。训练大模型需要投入大量的算力和资金,企业如 OpenAI 既没有公开模型也没有发布数据集,但这没有阻止各类企业和组织发布开源大模型,这些开源模型使用了不同的许可证,有着不同的限制。以 Meta 的 Llama 2 大模型为例,它禁止将大模型用于暴力或恐怖活动,以及“任何其他犯罪活动”。欧洲自由软件基金会(FSFE)的项目经理 Niharika Singhal 认为,为了维护 AI 的“开放性”,AI 模型的许可证必须与自由软件许可证有互操作性。许可证不能代替监管,此类对道德的限制不应该包含在许可证中,这些属于监管范围。开源促进会(Open Source Initiative)正致力于对开源 AI 进行定义,它认为如果一个模型被归类为开源,它需要具有开源软件所拥有的四个基本自由使用、学习、分享及改善之自由。开源促进会计划在今年 10 月底发布开源 AI 定义的 1.0 版本。来源 , 频道:@kejiqu 群组:@kejiquchat

封面图片

Meta 发布了新一代的可商用的开源大语言模型 Llama2,虽然依然不如 ChatGPT 3.5 的水平(特别是code),但

Meta 发布了新一代的可商用的开源大语言模型 Llama2,虽然依然不如 ChatGPT 3.5 的水平(特别是code),但是吊打其他开源模型了,真的卷王! 不光开源了模型,还写了一篇76的paper,把各种细节都讲的清清楚楚,相比 OpenAI,这是真的开放!强烈建议大家去阅读,下载地址:

封面图片

Meta 开源大模型遭对手质疑

Meta 开源大模型遭对手质疑 Meta 今年初开源了它的大语言模型 LLaMA,相比之下它的竞争对手 Google 和 OpenAI 都没有公开其最新的大模型。LLaMA 推动了大模型的快速发展,但 Google 和 OpenAI 等对手则批评没有约束的开源方法是危险的。Google 研发副总裁 Zoubin Ghahramani 认为这可能会导致滥用。Meta AI 首席科学家 Yann LeCun 表示 Google 和 OpenAI 对 AI 日益保密的做法是一个巨大的错误,消费者和政府将拒绝拥抱 AI,除非它们不受 Google 和 Meta 等公司的控制。在 AI 领域 Google、微软 和 OpenAI 是最引人注目的明星,但 Meta 也在该领域深耕了近十年。斯坦福研究员 Moussa Doumbouya 利用 LLaMA 的模型生成了有问题的文本,包括如何处理尸体而不被抓住的方法,发表支持希特勒观点的文章。他在私下聊天中认为向公众分发该技术就像“每个人都能在杂货店里买到手榴弹”。LeCun 认为制造和传播虚假信息和仇恨言论早就存在,这是无法阻止的,但平台可以阻止其传播。他相信一个最有活力的生态系统必须是开放的,人人都可以做贡献。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人