Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama2(羊驼2)提供7B~70B模型开源免费可商用今天Meta发布Llama2也就是羊驼2模型，提供7B、13B和70B参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。羊驼2预训练模型接受了2万亿个tokens的训练，上下文长度是Llama1的两倍，是的其上下文长度从2048提升到了4096，其微调模型接受了超过100万个人类标注的训练。根据MetaAI研究团队的测试，羊驼2在不少测试中表现都比较优异(相对其他开源模型)，包括推理、编程、熟练程度和知识测试。(需要提供Email地址)来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升

LLM得上下文越来越长，模型搜寻信息的能力却未必线性提升总体而言，模型会更注意开头的文本准确性方面，有时上下文更长的Claude100k表现不如ChatGPT16k利用ChatDoc/ChatPDF来获取信息并帮助模型筛选信息块、或重新排序信息块也能提升效果最后，价格高贵的GPT4效果拔群https://arxiv.org/pdf/2307.03172.pdfhttps://t.co/oL91J2TVAm

【Meta和Microsoft联手推出开源大型语言模型Llama 2】

【Meta和Microsoft联手推出开源大型语言模型Llama2】2023年07月19日10点52分7月19日消息，Meta和Microsoft联手推出开源大型语言模型Llama2，将在Microsoft的Windows和云计算平台Azure上运行。Llama2免费用于研究和商业用途，同时还针对在Windows上运行进行了优化。Meta称Llama2接受的公开在线数据源的训练量比Llama1多40%，处理的上下文量是Llama1的两倍。

OpenAI 遥遥领先 —— GPT-4 与 Claude 2.1 的长上下文精度对比

OpenAI遥遥领先——GPT-4与Claude2.1的长上下文精度对比GregKamradt对GPT-4(128K)与Claude2.1(200K)进行了名为"大海捞针"的长上下文精度测试。实验了两个AI在接收不同长度的上下文时，对文档中不同位置的内容，有何记忆上的差异。测试结果:*AI更容易记住(无论长度):文本后半部分。*AI更不容易记住(90K长文时):文本前半部分。*AI近乎100%记住(无论长度):文本开头&文本结尾。*越少的上下文=越高的准确性。*测试的API调用成本约为1016美元。投稿：@ZaiHuaBot频道：@TestFlightCN

最近不少宣称支持超长上下文的论文，但实际可用性却很差。有点像人类一目十行，LLM 看了但没注意到关键信息。

最近不少宣称支持超长上下文的论文，但实际可用性却很差。有点像人类一目十行，LLM看了但没注意到关键信息。目前可用性的平衡点可能还是100k以下。JimFan: I'mcallingtheMythofContextLength:Don'tgettooexcitedbyclaimsof1Moreven1Bcontexttokens.Youknowwhat,LSTMsalreadyachieveinfinitecontextlength25yrsago!Whattrulymattersishowwellthemodelactuallyusesthecontext.It'seasytomakeseeminglywild…

Meta 开源发布能力比肩 ChatGPT 的 Llama 2

Meta开源发布能力比肩ChatGPT的Llama2Llama2相较于Llama1的许可证更加开放，个人和公司都可将其免费用于研究和商业目的(月活超7亿的巨头除外)。Meta还禁止使用Llama2的材料或输出来改进其它大型语言模型(不包括Llama2的衍生作品)。值得注意的是，Llama2的训练数据集是闭源且保密的，这可能与版权纠纷的担忧有关。Llama2训练数据比Llama1多了40%，上下文长度是原来的两倍，有70亿、130亿、700亿三种参数版本。Llama2在大多数基准测试中击败了其它开源模型，在人类评估中与闭源模型GPT-3.5相当(除代码能力)。Meta还与微软、亚马逊、HuggingFace等公司深度合作，Llama2可以在MicrosoftAzure、AWS等云服务上直接使用。频道：@TestFlightCN