ChatGPT 参数规模被扒：只有 7B

南加州大学最新研究使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。果然，OpenAI不Open，自有别人帮他们Open。具体来说，南加大团队三位作者破解出了未公布的gpt-3.5-turbo嵌入向量维度（embeddingsize）为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。其它比例的话，就会造成网络过宽或过窄，已被证明对模型性能不利。因此南加大团队指出，可以推测gpt-3.5-turbo的参数规模也在7B左右，除非是MoE架构可能不同。via匿名标签:#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot

万金国际跑分【WS拉人项目】

万金国际跑分全网招实力码商，全天开工，点位置顶，欢迎大家前来开户对接！ 万金国际跑分客服：https://t.me/WJGJPF_bot

360 智脑 7B 参数大模型开源，支持 50 万字长文本输入

360公司日前在GitHub上开源了360智脑7B（70亿参数模型）。360智脑大模型采用3.4万亿Tokens的语料库训练，以中文、英文、代码为主，开放4K、32K、360K三种不同文本长度。360表示，360K（约50万字）是当前国产开源模型文本长度最长的。在英文大海捞针测试（将关键信息插入一段长文本的不同位置，再对该关键信息提问，从而测试大模型的长文本能力的一种方法）中，7B-360K模型达到98%以上的准确率。360仿照SuperCLUE-200K测评基准构造了中文大海捞针测试，同样做到了98%以上的准确率。此前，周鸿祎表示，前段时间大模型行业卷文本长度，100万字“很快将是标配”。“我们打算将这个能力开源，大家没必要重复造轮子，定为360K主要是为了讨个口彩。”他还自称“开源的信徒”，信奉开源的力量。标签:#360#AI频道:@GodlyNews1投稿:@GodlyNewsBot