AI 大模型的语言不平等：英语最便宜，其它语言要贵得多

AI 大模型的语言不平等：英语最便宜，其它语言要贵得多用户所使用的语言对于大型语言模型（LLM）的费用有很大的影响，可能造成英语使用者和其它语言使用者之间的人工智能鸿沟。最近的一项研究显示，由于 OpenAI 等服务所采用的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语则是英语的 15 倍。推特用户 Dylan Patel 分享了一张照片，展示了牛津大学进行的一项研究，该研究发现，让一个 LLM 处理一句缅甸语句子需要 198 个词元（tokens），而同样的句子用英语写只需要 17 个词元。词元代表了通过 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）访问 LLM 所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。词元化模型（即人工智能公司将用户输入转换为计算成本的方式）意味着，除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构（无论是从语法还是字符数量上），导致它们需要更高的词元化率。例如，根据 OpenAI 的 GPT3 分词器，“你的爱意（your affection）”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有 4 个字符（你的爱意），而英文有 14 个字符。、

在Telegram中查看

相关推荐

AI 大模型的语言不平等：英语最便宜，其它语言要贵得多

AI 大模型的语言不平等：英语最便宜，其它语言要贵得多一项研究显示，由于 OpenAI 等服务所采用的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语则是英语的 15 倍。推特用户（@dylan522p）分享了，展示了牛津大学进行的一项研究，该研究发现，让一个 LLM 处理一句缅甸语句子需要 198 个词元（tokens），而同样的句子用英语写只需要 17 个词元。词元代表了通过 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）访问 LLM 所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。来源，来自：雷锋频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

AI 大模型的语言不平等：英语最便宜，其它语言要贵得多 #抽屉IT

AI 大模型的语言不平等：英语最便宜，其它语言要贵得多========Tokenizer硬伤问题

牛津大学研究显示，不同语言使用AI大模型的成本不同，英语最便宜，其它语言要贵得多 #抽屉IT

：开源代码语言模型，包含了英语和中文两种语言版本的代码生成模型。

：开源代码语言模型，包含了英语和中文两种语言版本的代码生成模型。模型经过大规模训练，训练数据中87%为代码数据，13%为自然语言数据。模型大小提供1B、5.7B、6.7B、33B等多个版本，满足不同需求。模型在人工评估、多语言程序、MBPP、DS-1000等多个编程基准上均表现出色，在项目级代码补全、代码插入等任务有很好的效果。

语言模型的神奇之处，尽管只针对英语进行了训练，模型却能理解非英语的指令。

语言模型的神奇之处，尽管只针对英语进行了训练，模型却能理解非英语的指令。 Jan Leike: With the InstructGPT paper we found that our models generalized to follow instructions in non-English even though we almost exclusively trained on English. We still don't know why. I wish someone would figure this out.

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人