4050亿参数！Meta或将7月23日发布迄今最强大Llama 3模型

4050亿参数！Meta或将7月23日发布迄今最强大Llama3模型不到两周后，我们可能就会见到迄今为止最强大的开源Llama3模型。美东时间7月12日周五，媒体援引一名MetaPlatforms的员工消息称，Meta计划7月23日发布Llama3模型的最大版本。这一最新版模型将拥有4050亿参数，也将是多模态模型，这意味着它将能够理解和生成图像和文本。Meta公司拒绝对上述消息置评。周五盘中，低开的Meta股价跌幅收窄，盘初曾跌3.6%，午盘跌不足2%，仍将在周四大幅回落超4%后连跌两日，或将刷新6月28日以来收盘低位。标签:#Meta#Llama3#AI频道:@GodlyNews1投稿:@GodlyNewsBot

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama2(羊驼2)提供7B~70B模型开源免费可商用今天Meta发布Llama2也就是羊驼2模型，提供7B、13B和70B参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。羊驼2预训练模型接受了2万亿个tokens的训练，上下文长度是Llama1的两倍，是的其上下文长度从2048提升到了4096，其微调模型接受了超过100万个人类标注的训练。根据MetaAI研究团队的测试，羊驼2在不少测试中表现都比较优异(相对其他开源模型)，包括推理、编程、熟练程度和知识测试。(需要提供Email地址)来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

Meta 推出 80 亿参数和 700 亿参数的 Llama 3 模型

Meta推出80亿参数和700亿参数的Llama3模型据Meta旗下AIatMeta官方在X平台发文表示，Meta正式发布了Llama3包括80亿参数和700亿参数在内的2个模型。该模型实现了新功能，例如改进的推理能力，并为特定模型设定了新的最先进水平。在接下来的几个月中，我们预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能+Llama3研究论文，供社区从我们的工作中学习。

Perplexity推出pplx-api，可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等

Perplexity推出，可快速访问开源大型语言模型如Mistral7B、Llama213B等-pplx-api易于使用，开发者可以在几分钟内通过RESTAPI整合先进的开源模型。-pplx-api推理速度很快，比其他解决方案的延迟降低了2-3倍。-pplx-api基础设施经过验证，可以承载产品级流量。-pplx-api采用NVIDIATensorRT-LLM和AWSA100GPU等先进软硬件，实现了优化。-pplx-api已用于Perplexity的产品中，相比外部API每年节省了62万美元成本。-pplx-api兼容OpenAIAPI，可以轻松集成到现有应用中。-未来pplx-api将支持更多定制和开源模型。

Meta 发布开源大模型 Code Llama 70B

Meta发布开源大模型CodeLlama70B当地时间1月29日，Meta发布了开源大模型CodeLlama70B，Meta表示这是“CodeLlama家族中体量最大、性能最好的模型版本”。CodeLlama70B与先前其他家族模型一样提供三种版本，且均可免费用于研究和商业用途。从基准测试结果来看，CodeLlama的表现优于编码专用的开源Llama，甚至超越了Llama2。

ChatGPT 参数规模被扒：只有 7B

南加州大学最新研究使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。果然，OpenAI不Open，自有别人帮他们Open。具体来说，南加大团队三位作者破解出了未公布的gpt-3.5-turbo嵌入向量维度（embeddingsize）为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。其它比例的话，就会造成网络过宽或过窄，已被证明对模型性能不利。因此南加大团队指出，可以推测gpt-3.5-turbo的参数规模也在7B左右，除非是MoE架构可能不同。via匿名标签:#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot