AI 大模型的语言不平等：英语最便宜，其它语言要贵得多

AI大模型的语言不平等：英语最便宜，其它语言要贵得多用户所使用的语言对于大型语言模型（LLM）的费用有很大的影响，可能造成英语使用者和其它语言使用者之间的人工智能鸿沟。最近的一项研究显示，由于OpenAI等服务所采用的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的1.5倍，而缅甸的掸语则是英语的15倍。推特用户DylanPatel分享了一张照片，展示了牛津大学进行的一项研究，该研究发现，让一个LLM处理一句缅甸语句子需要198个词元（tokens），而同样的句子用英语写只需要17个词元。词元代表了通过API（如OpenAI的ChatGPT或Anthropic的Claude2）访问LLM所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出11倍。词元化模型（即人工智能公司将用户输入转换为计算成本的方式）意味着，除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构（无论是从语法还是字符数量上），导致它们需要更高的词元化率。例如，根据OpenAI的GPT3分词器，“你的爱意（youraffection）”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有4个字符（你的爱意），而英文有14个字符。——、

各大AI模型训练成本大比拼：谷歌Gemini Ultra高达1.9亿美元

各大AI模型训练成本大比拼：谷歌GeminiUltra高达1.9亿美元训练成本是如何确定的？斯坦福大学与研究公司EpochAI合作，根据云计算租金估算了AI模型的训练成本。双方所分析的关键因素包括模型的训练时长、硬件的利用率和训练硬件的价值。尽管许多人猜测，训练AI模型的成本变得越来越高，但缺乏全面的数据来支持这些说法。而斯坦福大学发布的《2024年AI指数报告》正是支持这些说法的罕见来源之一。不断膨胀的训练成本下表展示了自2017年以来，经通胀调整后的主要AI模型的培训成本：去年，OpenAI的GPT-4培训成本估计为7840万美元，远高于谷歌PaLM（540B）的训练成本。谷歌PaLM较GPT-4仅早一年推出，但训练成本为1240万美元。相比之下，2017年开发的早期AI模型Transformer的训练成本为930美元。该模型在塑造当前所使用的许多大型语言模型的体系结构方面起着基础性作用。谷歌的AI模型GeminiUltra的训练成更高，达到了惊人的1.91亿美元。截至2024年初，该模型在几个指标上都超过了GPT-4，最引人注目的是在“大规模多任务语言理解”（MMLU）基准测试中胜出。这一基准是衡量大型语言模型能力的重要标尺。例如，它以评估57个学科领域的知识和解决问题的熟练程度而闻名。训练未来的AI模型鉴于这些挑战，AI公司正在寻找新的解决方案来训练语言模型，以应对不断上涨的成本。其中的方法有多种，比如创建用于执行特定任务的较小模型，而其他一些公司正在试验创建自家的合成数据来“投喂”AI系统。但到目前为止，这方面还没有取得明确的突破。例如，使用合成数据的AI模型有时会“胡言乱语”，引发所谓的“模型崩溃”。...PC版：https://www.cnbeta.com.tw/articles/soft/1433692.htm手机版：https://m.cnbeta.com.tw/view/1433692.htm

谷歌推出第五代AI芯片：训练和运行AI模型的速度提高5倍

谷歌推出第五代AI芯片：训练和运行AI模型的速度提高5倍TPU是Google为神经网络设计的专用芯片，TPU经过优化可加快机器学习模型的训练和推断速度，2016年推出第一代TPU，2021年发布第四代定制处理器TPU，2022年面向开发者提供。云TPU（CloudTPU）是一项Google云服务，适合训练需要进行大量矩阵计算的大型复杂深度学习模型，例如大语言模型、蛋白质折叠建模和药物研发等，帮助企业在实现AI工作负载时节省资金和时间。此次推出的TPUv5e专为中大型模型训练和推理所需的成本效益和性能而构建。Google云表示，该版本芯片的开发重点是效率，与上一代TPUv4相比，TPUv5e每一美元的训练性能提高2倍，每一美元的推理性能提高2.5倍，而成本不到TPUv4的一半，使得更多组织能够训练和部署更大更复杂的AI模型。客户不需要通过牺牲性能或灵活性来获得这些成本效益。Google云将TPUv5e描述为“超级计算机”，最多允许256个芯片互连，总带宽超过400Tb/s，支持八种不同的虚拟机配置，客户可选择合适的配置服务于各种大语言模型和生成式AI模型。根据速度基准测试，在TPUv5e上训练和运行AI模型时速度提高了5倍。据科技媒体TechCrunch报道，Google云计算和机器学习基础设施副总裁兼总经理马克·洛迈尔（MarkLohmeyer）表示，“这是迄今为止最具成本效益且易于访问的云TPU。”洛迈尔强调，Google云确保用户能够将其TPU集群扩展到以前无法达到的水平，让客户能够轻松扩展他们的人工智能模型，超越单个TPU集群的物理边界。也就是说，单个大型人工智能工作负载可以跨越多个物理TPU集群，扩展到数万个芯片，并且经济高效。“在云GPU和云TPU方面，我们为客户提供了很多选择和灵活性，以满足我们看到的人工智能工作负载的广泛需求。”除了新一代TPU，Google云还宣布将在下个月推出基于英伟达H100GPU的A3系列虚拟机，作为GPU超级计算机进行交付，为人工智能大模型提供动力。...PC版：https://www.cnbeta.com.tw/articles/soft/1380537.htm手机版：https://m.cnbeta.com.tw/view/1380537.htm

李开复谈 AI 大模型 “价格战”：整个行业每年降低 10 倍推理成本，这是可以期待的

李开复谈AI大模型“价格战”：整个行业每年降低10倍推理成本，这是可以期待的面对国内价格竞争越来越激烈的AI大模型行业，零一万物等初创型公司如何跑赢大厂？李开复在与新浪科技沟通中承认，“今天我们确实看到了降价，我们也关注到了这个现象。”李开复表示，“我们的定价还是非常合理的，而且我们也花了很大精力，希望能够让价格再降下来。”李开复认为，在一定程度上，整个行业每年降低10倍推理成本，这是可以期待的，而且是必然也应该发生的。“今天可能是处在一个比较低的点，但是我觉得如果说以后大约有一年降价10倍来看的话，这是一个好消息，对整个行业都是好消息。”（新浪科技）

2017-2023 年的 AI 模型的训练成本

2017-2023年的AI模型的训练成本$930-Transformer(谷歌)$3288-BERT-Large(谷歌)$16万-RoBERTaLarge(Meta)$132万-LaMDA(谷歌)$393万-Llama270B(Meta)$432万-GPT-3175B(OpenAI)$640万-Megatron-TuringNLG530B(微软/英伟达)$1238万-PaLM540B(谷歌)$7835万-GPT-41800B(OpenAI)$1.914亿-GeminiUltra(谷歌)关注频道@TestFlightCN

昆仑万维旗下 Opera 全新 AI 服务器集群落地 大模型推理速度提高 30 倍

昆仑万维旗下Opera全新AI服务器集群落地大模型推理速度提高30倍据昆仑万维消息，近日，昆仑万维旗下海外信息分发及元宇宙平台Opera宣布，公司在冰岛凯夫拉维克部署了一套全新的、完全由绿色能源驱动的人工智能（AI）服务器集群。该集群能够为Opera提供先进的AI超级计算能力，并有效简化生产级AI应用的开发和部署过程，为Opera未来更多生成式AI服务打下基础。与上一代GPU相比，搭载NVIDIAH100TensorCoreGPU的方案能让AI训练速度提高4倍，大语言模型推理速度提高30倍。