Petals，一个可以让多人协作运行 Llama 和 BLOOM 等大型语言模型的项目

，一个可以让多人协作运行Llama和BLOOM等大型语言模型的项目使用Llama2(70B)，Falcon(180B)，BLOOM(176B)（或其衍生版本）生成文本，并针对任务进行微调，可使用消费级GPU或GoogleColab。你可以加载模型的一小部分，然后加入一个网络，由其他人提供其余部分。Llama2（70B）的单批量推理速度可达6个标记/秒，Falcon（180B）的单批量推理速度可达4个标记/秒，足以用于聊天机器人和交互应用程序。

哥飞给大家整理了几个可以在线体验 Llama2 的地方

哥飞给大家整理了几个可以在线体验Llama2的地方llama2.ai目前最好用，可选70B、13B、7B模型https://www.llama2.ai/perplexity.ai只有13B和7Bhttps://llama.perplexity.ai/llama2.space只有7Bhttps://www.llama2.space/poe.com有13B和7Bhttps://poe.com/Llama-2-13bhttps://poe.com/Llama-2-7bhuggingface.co暂时找到了13B和7B的，70B的都报错，就没列出来https://huggingface.co/spaces/huggingface-projects/llama-2-13b-chathttps://huggingface.co/spaces/huggingface-projects/llama-2-7b-chathuggingfacechat支持llama270B和llama30Bhttps://huggingface.co/chat

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama2(羊驼2)提供7B~70B模型开源免费可商用今天Meta发布Llama2也就是羊驼2模型，提供7B、13B和70B参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。羊驼2预训练模型接受了2万亿个tokens的训练，上下文长度是Llama1的两倍，是的其上下文长度从2048提升到了4096，其微调模型接受了超过100万个人类标注的训练。根据MetaAI研究团队的测试，羊驼2在不少测试中表现都比较优异(相对其他开源模型)，包括推理、编程、熟练程度和知识测试。(需要提供Email地址)来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

中文LLaMA-2 & Alpaca-2大语言模型 (Chinese LLaMA-2 & Alpaca-2 LLMs)

中文LLaMA-2&Alpaca-2大语言模型()本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。本项目主要内容：针对Llama-2模型增加了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型了预训练脚本、开源指令精调脚本，用户可根据需要进一步训练模型使用个人电脑的CPU/GPU在本地快速进行大模型仿真和部署体验支持Transformers,llama.cpp,text-Generation-webui,LangChain,vLLM等LLaMA生态目前已开源的模型：Chinese-LLaMA-2-7B,Chinese-Alpaca-2-7B

中文LLaMA&Alpaca大模型的第二期项目 | link

中文LLaMA&Alpaca大模型的第二期项目本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度，长上下文版模型支持16K上下文长度，并可通过NTK方法最高扩展至24K+上下文长度。本项目主要内容针对Llama-2模型扩充了新版中文词表，开源了中文LLaMA-2和Alpaca-2大模型开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型使用个人电脑的CPU/GPU快速在本地进行大模型量化和部署体验支持,,,,,等LLaMA生态已开源的模型基座模型：Chinese-LLaMA-2-7B,Chinese-LLaMA-2-13B聊天模型：Chinese-Alpaca-2-7B,Chinese-Alpaca-2-13B长上下文模型：Chinese-LLaMA-2-7B-16K,Chinese-LLaMA-2-13B-16K,Chinese-Alpaca-2-7B-16K,Chinese-Alpaca-2-13B-16K

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式AI应用，Meta和微软合作推出开源模型Llama2Meta和微软近日合作推出Llama2，这是Meta公司的下一代开源大型语言模型，可以免费用于研究和商业用途。微软在新闻稿中表示，Llama2旨在帮助开发者和组织，构建生成式人工智能工具和体验。Azure客户可以在Azure平台上更轻松、更安全地微调和部署7B、13B和70B参数的Llama2模型，此外通过优化可以在Windows本地运行。Llama2模型与AzureAI的结合使开发人员能够利用AzureAI的强大工具进行模型训练、微调、推理，特别是支持AI安全的功能。微软表示在Windows中加入Llama2模型，有助于推动Windows成为开发人员根据客户需求构建人工智能体验的最佳场所，并释放他们使用WindowsSubsystemforLinux(WSL)、Windows终端、MicrosoftVisualStudio和VSCode等世界级工具进行构建的能力。——、、