AI 大模型的语言不平等:英语最便宜,其它语言要贵得多

AI 大模型的语言不平等:英语最便宜,其它语言要贵得多 一项研究显示,由于 OpenAI 等服务所采用的服务器成本衡量和计费的方式,英语输入和输出的费用要比其他语言低得多,其中简体中文的费用大约是英语的两倍,西班牙语是英语的 1.5 倍,而缅甸的掸语则是英语的 15 倍。 推特用户 (@dylan522p)分享了,展示了牛津大学进行的一项研究,该研究发现,让一个 LLM 处理一句缅甸语句子需要 198 个词元(tokens),而同样的句子用英语写只需要 17 个词元。词元代表了通过 API(如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2)访问 LLM 所需的计算力成本,这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

相关推荐

封面图片

AI 大模型的语言不平等:英语最便宜,其它语言要贵得多

AI 大模型的语言不平等:英语最便宜,其它语言要贵得多 用户所使用的语言对于大型语言模型(LLM)的费用有很大的影响,可能造成英语使用者和其它语言使用者之间的人工智能鸿沟。 最近的一项研究显示,由于 OpenAI 等服务所采用的服务器成本衡量和计费的方式,英语输入和输出的费用要比其他语言低得多,其中简体中文的费用大约是英语的两倍,西班牙语是英语的 1.5 倍,而缅甸的掸语则是英语的 15 倍。 推特用户 Dylan Patel 分享了一张照片,展示了牛津大学进行的一项研究,该研究发现,让一个 LLM 处理一句缅甸语句子需要 198 个词元(tokens),而同样的句子用英语写只需要 17 个词元。词元代表了通过 API(如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2)访问 LLM 所需的计算力成本,这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。 词元化模型(即人工智能公司将用户输入转换为计算成本的方式)意味着,除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构(无论是从语法还是字符数量上),导致它们需要更高的词元化率。例如,根据 OpenAI 的 GPT3 分词器 ,“你的爱意(your affection)”的词元,在英语中只需要两个词元,但在简体中文中需要八个词元。尽管简体中文文本只有 4 个字符(你的爱意),而英文有 14 个字符。 、

封面图片

AI 大模型的语言不平等:英语最便宜,其它语言要贵得多 #抽屉IT

封面图片

AI 大模型的语言不平等:英语最便宜,其它语言要贵得多========Tokenizer硬伤问题

封面图片

牛津大学研究显示,不同语言使用AI大模型的成本不同,英语最便宜,其它语言要贵得多 #抽屉IT

封面图片

英语自然拼读教程 | 电子书籍

英语自然拼读教程 | 电子书籍 描述:《 英语自然拼读教程 》本书作者全面收集、整理、总结了自然拼读的规则,并通过丰富的实例,以通俗易懂的语言对这些规则进行了诠释,同时还提出了许多具有指导性意义的观点。此外,本书还对英语单词的拼读规则进行了从拼写到读音和从读音到拼写的双向解释,从而让读者达到看词会读、听词会写的目的。而且,作者通过将拼读规则句型化,使读者能够比较容易地记住单词的拼读规则,并学习地道的英语句子。 链接:https://www.aliyundrive.com/s/jb4GY5GoBm7 大小:71.01MB 标签:#英语自然拼读教程 #英语 #电子书籍 来自:雷锋 版权:版权反馈/DMCA 频道:@shareAliyun 群组:@aliyundriveShare 投稿:@aliyun_share_bot

封面图片

《mksz663-AI大语言模型 ChatGPT从0到1打造私人智能英语学习助手》

《mksz663-AI大语言模型 ChatGPT从0到1打造私人智能英语学习助手》 简介:本书提供了关于mksz663-AI大语言模型 ChatGPT从0到1打造私人智能英语学习助手的深度解析,涵盖其发展背景、核心概念以及实际应用。通过真实案例与科学研究,帮助读者理解其重要性,并掌握相关技能或知识点。适合对该主题感兴趣的读者,让你在短时间内提升认知,拓宽思维边界。 标签:#mC#mksz#知识#学习 文件大小:NG 链接:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人