360 智脑 7B 参数大模型开源,支持 50 万字长文本输入
360公司日前在GitHub上开源了360智脑7B(70亿参数模型)。360智脑大模型采用3.4万亿Tokens的语料库训练,以中文、英文、代码为主,开放4K、32K、360K三种不同文本长度。360表示,360K(约50万字)是当前国产开源模型文本长度最长的。在英文大海捞针测试(将关键信息插入一段长文本的不同位置,再对该关键信息提问,从而测试大模型的长文本能力的一种方法)中,7B-360K模型达到98%以上的准确率。360仿照SuperCLUE-200K测评基准构造了中文大海捞针测试,同样做到了98%以上的准确率。此前,周鸿祎表示,前段时间大模型行业卷文本长度,100万字“很快将是标配”。“我们打算将这个能力开源,大家没必要重复造轮子,定为360K主要是为了讨个口彩。”他还自称“开源的信徒”,信奉开源的力量。标签:#360#AI频道:@GodlyNews1投稿:@GodlyNewsBot