开源DBRX高性能大语言模型

开源DBRX高性能大语言模型 DBRX是Databricks开发的开源通用语言模型，在多项标准基准测试上达到了当前开源语言模型的最高水平。DBRX在多项综合基准测试中表现最好，尤其在编程和数学推理方面优于其他开源模型。与开源模型相比，DBRX在MMLU数据集上的表现也是最好的。 根据测试，DBRX甚至超过了专门用于编程的CodeLLAMA-70B，并且与商业模型GPT-3.5相当甚至略胜。DBRX也与Gemini 1.0 Pro和Mistral Medium等商业模型有竞争力。 DBRX使用混合专家(MoE)架构，使其在训练和推理上更加高效。与类似参数量的非MoE模型相比，DBRX的推理吞吐量提高2-3倍。DBRX的整体训练效率比之前提高了近4倍，这得益于更好的数据、MoE架构以及其他改进。 DBRX已经在Databricks的GenAI产品中进行了集成，客户可以通过API使用该模型。DBRX的训练代码和模型也在Hugging Face平台上开源。DBRX证明了Databricks可以高效地训练世界级的基础语言模型，也为企业训练自己的基础模型提供了能力。DBRX只是Databricks协助客户训练定制语言模型的一个例子。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。 近日，Colossal-AI 团队充分利用了 LLaMA-2 的基础能力，采用高效的训练方法，仅使用约 8.5B token 数据、15 小时、数千元的训练成本，成功构建了性能卓越的中文 LLaMA-2，在多个评测榜单性能优越。 相较于原始 LLaMA-2，在成功提升中文能力的基础上，进一步提升其英文能力，性能可与开源社区同规模预训练 SOTA 模型媲美。 该项目在 GitHub 完全开源了全套训练流程、代码及权重，无商用限制，并提供了一个完整的评估体系框架 ColossalEval，以实现低成本的可复现性。 不仅如此，相关方案还可迁移应用到任意垂类领域，以及从头预训练大模型的低成本构建。 |

OpenAI发布新嵌入模型，降低GPT-3.5 Turbo价格 |

OpenAI发布新嵌入模型，降低GPT-3.5 Turbo价格 | OpenAI发布了新的嵌入模型和API更新，包括两个新的嵌入模型、更新的GPT-4 Turbo预览模型、更新的GPT-3.5 Turbo模型和更新的文本审核模型。 新的嵌入模型包括一个小型高效的text-embedding-3-small模型和一个大型高性能的text-embedding-3-large模型，允许开发者在使用嵌入时权衡性能和成本，特别是可以通过减少嵌入的维数(即从序列的末尾移除一些数字)来实现。 这些模型能够创建最多3072维的嵌入。 OpenAI表示，发送到OpenAI API的数据默认不会被用来训练或改进OpenAI模型。

：开源大模型的统一后端接口，支持多种开源大模型

：开源大模型的统一后端接口，支持多种开源大模型 该项目为开源大模型的推理实现统一的接口接口，与OpenAI响应保持一致，具有以下特性： 以OpenAI ChatGPT API这样的方式调用开源分布式大模型 支持流式响应，实现打印机效果 实现文本嵌入模型，为文档知识问答提供支持 支持大规模语言模型开发工具langchain 的广泛功能 要简单的修改环境变量即可将开源模型作为chatgpt的替代模型，为大众应用提供反馈支持 支持加载经过自行训练的lora模型

modihand：独立部署，训练属于你的文本大模型

modihand：独立部署，训练属于你的文本大模型 只需要上传你的 json 数据集，然后在网页点几下，就可以训练属于你的文本大模型 支持 Lora，Ptuning，Freeze 等多种微调训练方式；支持多个开源大模型作为基底，可以完整下载训练完的模型权重，自己部署，断网离线使用

面向移动/嵌入式平台的算子性能调优工具箱

面向移动/嵌入式平台的算子性能调优工具箱 特征。 调查目标 CPU/GPU 的基本微架构参数 (uarch)。 绘制分层屋顶线模型的图形，用于评价性能。 收集CPU/GPU PMU事件数据。 分析CPU/GPU PMU事件数据（TMA方法论和自定义指标），用于识别性能瓶颈。 OpenCL Linter，用于指导手动 OpenCL 内核优化 [TBD]。 C++项目 支持平台：ARM CPU、Mali GPU、Adreno 6xx GPU 轻量级和可填充的库 iOS 平台尚未完全开发使用。 ||