ChatGPT 参数规模被扒：只有 7B

南加州大学最新研究使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。果然，OpenAI不Open，自有别人帮他们Open。具体来说，南加大团队三位作者破解出了未公布的gpt-3.5-turbo嵌入向量维度（embeddingsize）为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。其它比例的话，就会造成网络过宽或过窄，已被证明对模型性能不利。因此南加大团队指出，可以推测gpt-3.5-turbo的参数规模也在7B左右，除非是MoE架构可能不同。via匿名标签:#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot