中文LLaMA-2 & Alpaca-2大语言模型 ()

中文LLaMA-2 & Alpaca-2大语言模型 () 本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。 这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。 本项目主要内容： 针对Llama-2模型增加了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型 了预训练脚本、开源指令精调脚本，用户可根据需要进一步训练模型 使用个人电脑的CPU/GPU在本地快速进行大模型仿真和部署体验 支持Transformers , llama.cpp , text- Generation-webui , LangChain , vLLM等LLaMA生态 目前已开源的模型：Chinese-LLaMA-2-7B, Chinese-Alpaca-2-7B

孙思邈中文医疗大模型()

孙思邈中文医疗大模型() 希望能够遵循孙思邈的生平轨迹, 重视民间医疗经验, 不断累积中文医疗数据, 并将数据附加给模型, 致力于提供安全、可靠、普惠的中文医疗大模型. 目前, Sunsimiao是由baichuan-7B和ChatGLM-6B系列在十万级高质量的中文医疗数据中微调而得, 后续将收集更多数据, 扩充模型能力, 不断迭代更新. 相关细节工作正在整理。

是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，Ch

是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性： 更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。 更长的上下文：基于 FlashAttention 技术，将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，开发者会在后续迭代升级中着重进行优化。 更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。 更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。

：中文自媒体大模型虽然LLaMA模型在通用领域通过指令参数已经提升了展示令人印象深刻的性能，但对于自媒体创作、直播和运营等领域，

：中文自媒体大模型 虽然LLaMA模型在通用领域通过指令参数已经提升了展示令人印象深刻的性能，但对于自媒体创作、直播和运营等领域，由于缺乏专业的训练数据，其能力增幅待提高。为了解决这个问题，我们提出了Media LLaMA，一个针对自媒体领域进行特殊训练的模型。 Media LLaMA 首先在大规模自媒体语料上进行连续预训练，系统地学习自媒体的知识体系。然后，我们借助 ChatGPT 收集了有关抖音运营、短视频创作、巨量千川投放、直播运营和直播话术技巧等领域知识问题的分析和解答，并利用这些数据对模型进行指令调整，使模型习得如何将自媒体知识应用到实际场景中。 模型具有以下能力： 掌握自媒体知识：能够理解抖音运营、短视频创作、巨量千川投放、直播运营等领域的核心概念和策略。 适用于实际操作：能够以通俗易懂的语言解释自媒体概念，并进行基础的自媒体运营咨询，主题内容创作、平台运营、广告投放等领域。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。

一个比较不错的中文大模型解决方案，代码完全开源，无商用限制。 近日，Colossal-AI 团队充分利用了 LLaMA-2 的基础能力，采用高效的训练方法，仅使用约 8.5B token 数据、15 小时、数千元的训练成本，成功构建了性能卓越的中文 LLaMA-2，在多个评测榜单性能优越。 相较于原始 LLaMA-2，在成功提升中文能力的基础上，进一步提升其英文能力，性能可与开源社区同规模预训练 SOTA 模型媲美。 该项目在 GitHub 完全开源了全套训练流程、代码及权重，无商用限制，并提供了一个完整的评估体系框架 ColossalEval，以实现低成本的可复现性。 不仅如此，相关方案还可迁移应用到任意垂类领域，以及从头预训练大模型的低成本构建。 |

: 开源的中英双语LLaMA模型，具有增强的推理能力。通过扩充中文词表和利用任务型数据进行训练，提升了理解和推理能力。

: 开源的中英双语LLaMA模型，具有增强的推理能力。通过扩充中文词表和利用任务型数据进行训练，提升了中文理解和推理能力。 在评测中，BiLLa在中英语言建模和推理任务上表现出色，优于其他模型，并与ChatGLM-6B相比在解题和代码得分方面更高。开发者可以使用BiLLa-7B-LLM和BiLLa-7B-SFT模型，并可通过提供的工具进行模型权重的还原和使用。评测结果显示，BiLLa在语言建模和各种问题类型上取得了良好的性能