中文LLaMA-2 & Alpaca-2大语言模型 (Chinese LLaMA-2 & Alpaca-2 LLMs)

中文LLaMA-2&Alpaca-2大语言模型()本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。本项目主要内容：针对Llama-2模型增加了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型了预训练脚本、开源指令精调脚本，用户可根据需要进一步训练模型使用个人电脑的CPU/GPU在本地快速进行大模型仿真和部署体验支持Transformers,llama.cpp,text-Generation-webui,LangChain,vLLM等LLaMA生态目前已开源的模型：Chinese-LLaMA-2-7B,Chinese-Alpaca-2-7B

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama2(羊驼2)提供7B~70B模型开源免费可商用今天Meta发布Llama2也就是羊驼2模型，提供7B、13B和70B参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。羊驼2预训练模型接受了2万亿个tokens的训练，上下文长度是Llama1的两倍，是的其上下文长度从2048提升到了4096，其微调模型接受了超过100万个人类标注的训练。根据MetaAI研究团队的测试，羊驼2在不少测试中表现都比较优异(相对其他开源模型)，包括推理、编程、熟练程度和知识测试。(需要提供Email地址)来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

【Meta和Microsoft联手推出开源大型语言模型Llama 2】

【Meta和Microsoft联手推出开源大型语言模型Llama2】2023年07月19日10点52分7月19日消息，Meta和Microsoft联手推出开源大型语言模型Llama2，将在Microsoft的Windows和云计算平台Azure上运行。Llama2免费用于研究和商业用途，同时还针对在Windows上运行进行了优化。Meta称Llama2接受的公开在线数据源的训练量比Llama1多40%，处理的上下文量是Llama1的两倍。

Meta发布LLAMA 3.1 405B开源AI模型

Meta发布LLAMA3.1405B开源AI模型Meta公司发布LLAMA3.1405B开源人工智能模型，首席执行官马克·扎克伯格称之为“最先进的”，并表示将与OpenAI和谷歌等竞争对手的类似产品相媲美。新模型花费了数月时间和数亿美元的计算能力进行训练。该模型具有多种新功能，包括改进的推理能力，可帮助解决复杂的数学问题或立即合成整本书的文本。还具有生成式人工智能功能，可以通过文本提示按需创建图像。名为“想象自己”的功能允许用户上传自己的脸部图像，然后可以用来创建在不同的场景和情形中的形象。另外，Meta推出Llama3.1模型8B和70B型号的升级版本，将上下文长度扩展至128K，增加了对8种语言的支持。——、

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多

是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B引入了如下新特性：更强大的性能：基于ChatGLM初代模型的开发经验，我们全面升级了ChatGLM2-6B的基座模型。ChatGLM2-6B使用了GLM的混合目标函数，经过了1.4T中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B在MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。更长的上下文：基于FlashAttention技术，将基座模型的上下文长度（ContextLength）由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练，允许更多轮次的对话。但当前版本的ChatGLM2-6B对单轮超长文档的理解能力有限，开发者会在后续迭代升级中着重进行优化。更高效的推理：基于Multi-QueryAttention技术，ChatGLM2-6B有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了42%，INT4量化下，6G显存支持的对话长度由1K提升到了8K。更开放的协议：ChatGLM2-6B权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。

Giraffe：世界上第一个商业可用的32K长上下文开源LLM（基于Llama-2）

Giraffe：世界上第一个商业可用的32K长上下文开源LLM（基于Llama-2）Giraffe是一个新的模型系列，它们是从已发布的基础LLaMA和LLaMA2模型进行微调的，其中包括了从LLaMA微调的4kGiraffe和16kGiraffe，以及从LLaMA2微调的32kGiraffe，并将它们的权重发布在HuggingFace上。Giraffe-32k在开源LLM领域成为一股强大的力量，Giraffe-32k可以执行更复杂的检索操作，出错更少，对于维护长时间对话或要求LLM帮助处理大型现有代码库至关重要。该研究强调了用于上下文长度探索的两种新方法。值得注意的是，ABACUS.AI的一种技术，称为truncation（截断），表现出极具潜力的结果。