Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama2(羊驼2)提供7B~70B模型开源免费可商用今天Meta发布Llama2也就是羊驼2模型，提供7B、13B和70B参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。羊驼2预训练模型接受了2万亿个tokens的训练，上下文长度是Llama1的两倍，是的其上下文长度从2048提升到了4096，其微调模型接受了超过100万个人类标注的训练。根据MetaAI研究团队的测试，羊驼2在不少测试中表现都比较优异(相对其他开源模型)，包括推理、编程、熟练程度和知识测试。(需要提供Email地址)来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式AI应用，Meta和微软合作推出开源模型Llama2Meta和微软近日合作推出Llama2，这是Meta公司的下一代开源大型语言模型，可以免费用于研究和商业用途。微软在新闻稿中表示，Llama2旨在帮助开发者和组织，构建生成式人工智能工具和体验。Azure客户可以在Azure平台上更轻松、更安全地微调和部署7B、13B和70B参数的Llama2模型，此外通过优化可以在Windows本地运行。Llama2模型与AzureAI的结合使开发人员能够利用AzureAI的强大工具进行模型训练、微调、推理，特别是支持AI安全的功能。微软表示在Windows中加入Llama2模型，有助于推动Windows成为开发人员根据客户需求构建人工智能体验的最佳场所，并释放他们使用WindowsSubsystemforLinux(WSL)、Windows终端、MicrosoftVisualStudio和VSCode等世界级工具进行构建的能力。——、、

Meta发布全新大型语言模型LLaMA，加入硅谷AI竞赛

Meta发布全新大型语言模型LLaMA，加入硅谷AI竞赛当地时间2月24日，Meta公司发布一款新的人工智能大型语言模型LLaMA，加入微软、谷歌等硅谷公司的竞赛。Meta首席执行官扎克伯格在Instagram表示，LLaMA模型旨在帮助研究人员推进工作，在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。Meta表示，在大多数基准测试中，参数仅为十分之一的LLaMA-13B的性能优于OpenAI推出的GPT3(175B)，也即支持ChatGPT的GPT3.5的前身。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

Meta 发布 Llama 3 —— 迄今最强大的公开语言模型

Meta发布Llama3——迄今最强大的公开语言模型Llama3的8B和70B型号拥有8K上下文窗口，经过15Ttokens预训练，训练数据比Llama2大了七倍，并且包含四倍多的代码。其中Llama3-8B的性能就已优于Llama2-70B。人类择优测试中Llama3-70B远胜于Claude3Sonnet、MistralMedium和GPT-3.5。Llama3的多模态和更大的版本将在数月内推出，其中最为强大的Llama3-400B+仍在训练中，三天前的基准测试结果已经持平Claude3Opus超过GeminiPro1.5，仅数学落后最先进的GPT-4-2024-04-09。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

阿里云成为首家支持 Meta 开源 AI 模型 Llama 的中国企业

阿里云成为首家支持Meta开源AI模型Llama的中国企业阿里云近日宣布，该公司已成为首家支持Meta开源AI模型Llama的中国企业，并允许其中国企业用户开发基于该模型的程序。阿里云官方微信公众号表示，该公司在中国推出了第一个针对Llama2的系列的培训和部署解决方案，并欢迎所有开发者在阿里云上创建定制的大模型。阿里云表示，为方便开发者群体，阿里云机器学习平台PAI在国内率先对Llama2系列模型进行深度适配，推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案，助力开发者快速基于Llama2进行再训练，搭建自己的专属大模型。来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

私人自托管大型语言模型：运行经验分享与注意事项

私人自托管大型语言模型：运行经验分享与注意事项最近半年大型语言模型非常火爆，笔者本人循着开源精神，试着搭建过自托管（self-host）大模型，也踩过不少坑，现在来分享一下经验。1.最容易/成熟的选择：llama的，之前还需要申请llama的模型访问权限后才能加载他们的增量（类似于需要有stablediffusion模型才能加载LoRa），但是是由于llama模型的到处都是了，所以现在他们直接放出了所有权重可以直接部署。（而且脚本都给你写好了。2.如何部署：7B的模型需要14GVRAM，13B需要28-30VRAM（28G可以加载模型，一推理就会oom），而最新的33B模型需要至少80GVRAM进行部署。同时，多GPU不能分担显存需求，除非是裸机级别的NVlink（VPS因为不保证你租到的是相邻两个有NVlink的GPU，可能部署没问题，但是一进行推理就会炸显存，因为pclexpress带宽不够）。那么最好的选择是Vultr，他们是少数几家有80G级别的A100商家，而且能按小时付费，价格是Azure之类的1/2一下。但是要注意的是，他们家默认creditlimit是$1,000/mo但是A100价格是$1,750/mo，尽管按小时计费，但是因为月度creditlimit不够，会直接开不出来，需要正常使用他们家其他服务几个月后，才能申请增加额度。（本人是几年的老用户，来回发了4-5份工单才同意增额的）。但是如果只是体验一下13B的model的话，可以租用半个GPU（40GVRAM，够用）.3.进一步省钱的办法：看好需要VRAM额度，租用1/2个或1/3个GPU足以。同时善用他们家的快照功能，如果你不熟悉linux命令的话，可以先租用一个50-100GSSD的CPUVPS（取决于模型大小）（每个小时只要$0.04-0.06,比GPU服务器便宜一个数量级），部署好后不启动，拍摄快照，再从快照还原到GPU服务器。（但是要注意拍摄快照与还原均需大约一个小时，如果你熟悉linux命令，你大约可以在30分钟内部署完成，快照反而会多花钱）。（注意记录下一开始的root密码，快照会还原原来的root密码，但不显示）。5.模型感觉怎么样？尽管宣传比肩ChartGPT，但是其实比ChartGPT差多了（大约有微软小冰的水平？）比如我蓄意给予错误的指令（“请告诉我有关阿里巴巴森林公园的情况”，他开始回答“阿里巴巴森林公园是一个风景秀丽，环境优美。。。。。。”换成英文也得到类似的结果"PleasetellmesomethingaboutTencentNationalpark"也回答了类似的结果，而ChartGPT会质疑阿里巴巴是公司而非森林公园的名字）。（毕竟ChartGPT宣传是175B，和13B差差不多10倍）6.最后:美国有传闻要禁止中国公司或公民在外国租用高端计算卡以绕过显卡禁令，尚不知是否会波及类似用例（因为只是单显卡，未进行互联，而A800砍的是互联能力）。希望不会吧。