ChatGPT 参数规模被扒:只有 7B

南加州大学最新研究使用一种攻击方法,花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。果然,OpenAI不Open,自有别人帮他们Open。具体来说,南加大团队三位作者破解出了未公布的gpt-3.5-turbo嵌入向量维度(embeddingsize)为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral,嵌入向量维度4096的时候都是约7B参数规模。其它比例的话,就会造成网络过宽或过窄,已被证明对模型性能不利。因此南加大团队指出,可以推测gpt-3.5-turbo的参数规模也在7B左右,除非是MoE架构可能不同。via匿名标签:#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot

相关推荐

封面图片

荣耀CEO赵明对华尔街见闻独家透露,2024年荣耀将能于12GB(RAM/运存)智能手机端侧部署参数规模为7B的AI大模型。赵明

荣耀CEO赵明对华尔街见闻独家透露,2024年荣耀将能于12GB(RAM/运存)智能手机端侧部署参数规模为7B的AI大模型。赵明说,“荣耀平台级AI技术能将LLM大模型在端侧实现超高压缩率。7B模型能在12G设备上快速启动,同时保证用户常用应用体验不受影响。”一般来说,要在智能手机端侧部署7B参数规模的LLM大模型,需要24GB运存。12GB运存智能手机端侧实现7B大模型部署,同时还能保证用户的日常流畅应用,以荣耀平台级AI能力的底层技术特性,可大幅提升和扩展荣耀多价位智能手机的AI体验。(作者周源)

封面图片

Open AI终于发力了,今天更新了一堆新的内容,每个都很重磅:

OpenAI终于发力了,今天更新了一堆新的内容,每个都很重磅:-16k上下文3.5Turbo模型(今天向所有人提供)-新的GPT-4和3.5Turbo模型-ChatCompletionsAPI中的新函数调用功能-V2嵌入模型降价75%-GPT-4的API权限将开放给更多的人下面是详细介绍https://openai.com/blog/function-calling-and-other-api-updates首先是新的GPT-4的模型`gpt-4-0613`包括一个更新和改进的模型,带有函数调用。`gpt-4-32k-0613`包括与`gpt-4-0613`相同的改进,同时上下文长度再度扩展,以便更好地理解更大的文本。未来几周内邀请候补名单中的更多人试用GPT-4,直到完全删除候补名单新的GPT-3.5Turbo和16K模型`gpt-3.5-turbo-0613`包括与GPT-4相同的函数调用以及通过系统消息提供的更可靠的可控性。`gpt-3.5-turbo-16k`的16k上下文意味着该模型现在可以在单个请求中支持约20页文本。然后是Functioncalling函数调用开发人员现在可以向`gpt-4-0613`和`gpt-3.5-turbo-0613`描述函数,并让模型智能地选择输出包含调用这些函数的参数的JSON对象。这是一种更可靠地将GPT功能与外部工具和API连接的新方法。最后是价格调整`text-embedding-ada-002`将成本降低75%至每1KToken0.0001美元。`gpt-3.5-turbo-16k`的定价为每1K输入Token0.003美元,每1K输出Token0.004美元。`gpt-3.5-turbo’s`输入Token的成本降低了25%

封面图片

OpenAI正在升级其文本生成模型GPT-3.5-turbo和GPT-4并降低价格

OpenAI正在升级其文本生成模型GPT-3.5-turbo和GPT-4并降低价格例如,函数调用可以帮助创建聊天机器人,通过调用外部工具回答问题,将自然语言转换为数据库查询,并从文本中提取结构化数据。“这些模型已经过微调,可以检测何时需要调用函数……并使用符合函数签名的JSON进行响应,”OpenAI在介绍中写道。“函数调用允许开发人员更可靠地从模型中获取结构化数据。”除了函数调用之外,OpenAI还引入了一种具有极大扩展上下文窗口的GPT-3.5-turbo。上下文窗口以标记或原始文本位衡量,指的是模型在生成任何其他文本之前考虑的文本。具有小上下文窗口的模型往往会“忘记”即使是最近的对话内容,导致他们偏离主题。新的GPT-3.5-turbo提供四倍于普通GPT-3.5-turbo的上下文长度(16000个令牌),价格是原来的两倍——每1000个输入令牌(即输入模型的令牌)0.003美元,每1000个输出令牌0.004美元(模型生成的标记)。OpenAI表示,它一次可以摄取大约20页的文本——明显低于AI初创公司Anthropic的旗舰模型可以处理的数百页文本。(OpenAI正在测试具有32000个令牌上下文窗口的GPT-4版本,但发布范围有限。)从好的方面来说,OpenAI表示它正在将GPT-3.5-turbo(原始版本,而不是具有扩展上下文窗口的版本)的价格降低25%。开发人员现在可以以每1000个输入令牌0.0015美元和每1000个输出令牌0.002美元的价格使用该模型,这相当于每美元大约700页。text-embedding-ada-002的定价也有所降低,这是OpenAI更流行的文本嵌入模型之一。文本嵌入衡量文本字符串的相关性,通常用于搜索(结果按与查询字符串的相关性排序)和推荐(推荐具有相关文本字符串的项目)。Text-embedding-ada-002现在每1000个令牌的价格为0.0001美元,比之前的价格降低了75%。OpenAI表示,减少是通过提高其系统效率实现的——毫无疑问,这是这家初创公司关注的一个关键领域,因为它在研发和基础设施上花费了数亿美元。OpenAI已经表示,在3月初发布GPT-4之后,对现有模型的增量更新是当下主要工作,而不是研发大规模的从头开始的新模型。在最近的一次会议上,首席执行官山姆·奥特曼重申OpenAI尚未开始培训GPT-4的继任者,这表明该公司在开始该模型之前“还有很多工作要做”。了解更多:https://openai.com/blog/function-calling-and-other-api-updates...PC版:https://www.cnbeta.com.tw/articles/soft/1365217.htm手机版:https://m.cnbeta.com.tw/view/1365217.htm

封面图片

Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama2(羊驼2)提供7B~70B模型开源免费可商用今天Meta发布Llama2也就是羊驼2模型,提供7B、13B和70B参数版本,该模型开源、免费、可商用,这也是为什么最近一段时间有大量新模型出现,对开源社区来说,只要有高质量模型被开源出来,那接下来就是社区成员登场,微调、优化、定制、整合,然后就可以生成更多模型了。羊驼2预训练模型接受了2万亿个tokens的训练,上下文长度是Llama1的两倍,是的其上下文长度从2048提升到了4096,其微调模型接受了超过100万个人类标注的训练。根据MetaAI研究团队的测试,羊驼2在不少测试中表现都比较优异(相对其他开源模型),包括推理、编程、熟练程度和知识测试。(需要提供Email地址)来源,来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

OpenAI 惨遭背刺,GPT-3.5 Turbo 参数量被微软意外泄露

OpenAI惨遭背刺,GPT-3.5Turbo参数量被微软意外泄露在微软研究院新论文《CODEFUSION:APre-trainedDiffusionModelforCodeGeneration》中,数个模型被标注了参数量,其中GPT-3.5Turbo只有200亿参数,而不是众人熟知的1750亿。如果该数字无误,将刷新人们对性能与参数量关系的认知,并且像ChatGPT这样的AI也有机会运行在家用PC上。https://arxiv.org/abs/2310.17680投稿:@ZaiHuaBot频道:@TestFlightCN

封面图片

360 智脑 7B 参数大模型开源,支持 50 万字长文本输入

360公司日前在GitHub上开源了360智脑7B(70亿参数模型)。360智脑大模型采用3.4万亿Tokens的语料库训练,以中文、英文、代码为主,开放4K、32K、360K三种不同文本长度。360表示,360K(约50万字)是当前国产开源模型文本长度最长的。在英文大海捞针测试(将关键信息插入一段长文本的不同位置,再对该关键信息提问,从而测试大模型的长文本能力的一种方法)中,7B-360K模型达到98%以上的准确率。360仿照SuperCLUE-200K测评基准构造了中文大海捞针测试,同样做到了98%以上的准确率。此前,周鸿祎表示,前段时间大模型行业卷文本长度,100万字“很快将是标配”。“我们打算将这个能力开源,大家没必要重复造轮子,定为360K主要是为了讨个口彩。”他还自称“开源的信徒”,信奉开源的力量。标签:#360#AI频道:@GodlyNews1投稿:@GodlyNewsBot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人