AI 大模型的语言不平等：英语最便宜，其它语言要贵得多

AI 大模型的语言不平等：英语最便宜，其它语言要贵得多 用户所使用的语言对于大型语言模型（LLM）的费用有很大的影响，可能造成英语使用者和其它语言使用者之间的人工智能鸿沟。 最近的一项研究显示，由于 OpenAI 等服务所采用的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语则是英语的 15 倍。 推特用户 Dylan Patel 分享了一张照片，展示了牛津大学进行的一项研究，该研究发现，让一个 LLM 处理一句缅甸语句子需要 198 个词元（tokens），而同样的句子用英语写只需要 17 个词元。词元代表了通过 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）访问 LLM 所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。 词元化模型（即人工智能公司将用户输入转换为计算成本的方式）意味着，除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构（无论是从语法还是字符数量上），导致它们需要更高的词元化率。例如，根据 OpenAI 的 GPT3 分词器 ，“你的爱意（your affection）”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有 4 个字符（你的爱意），而英文有 14 个字符。 、

「快意」大模型（） 是由快手AI团队从零到一独立自主研发的一系列大规模语言模型（Large Language Model，LLM

「快意」大模型（） 是由快手AI团队从零到一独立自主研发的一系列大规模语言模型（Large Language Model，LLM），当前包含了多种参数规模的模型，并覆盖了预训练模型（KwaiYii-Base)、对话模型（KwaiYii-Chat)。这里面我们介绍13B规模的系列模型KwaiYii-13B，其主要特点包括： KwaiYii-13B-Base预训练模型具备优异的通用技术底座能力，在绝大部分权威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。例如，KwaiYii-13B-Base预训练模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前处于同等模型规模的领先水平。 KwaiYii-13B-Chat对话模型具备出色的语言理解和生成能力，支持内容创作、信息咨询、数学逻辑、代码编写、多轮对话等广泛任务，人工评估结果表明KwaiYii-13B-Chat超过主流的开源模型，并在内容创作、信息咨询和数学解题上接近ChatGPT(3.5)同等水平。

AMIE是一个基于大语言模型(LLM)的研究型AI系统，用于医学诊断推理和对话。它通过真实世界的数据集进行训练，包括医学推理、医

AMIE是一个基于大语言模型(LLM)的研究型AI系统，用于医学诊断推理和对话。它通过真实世界的数据集进行训练，包括医学推理、医学总结和真实世界的临床对话。 AMIE使用了一种新的自弈仿真对话学习环境，可以在大量的疾病条件、专科和患者环境下提高诊断对话的质量。 研究人员设计了一项随机双盲交叉研究，使用经验证的患者角色扮演者通过在线多轮同步文本聊天与执业医生或AMIE系统进行虚拟远程客观结构化临床考试(OSCE)。 在149个不同科室的病例中，与20名初级保健医生相比，AMIE在诊断准确性和咨询质量的多个方面表现更好，从专科医生和患者角色的视角看是这样。 AMIE作为辅助工具可显著提高临床医生解决复杂病例的诊断准确率，但AMIE有一定局限性，这项研究应谨慎解释，不能代表日常临床实践。需要更多研究来实现安全可靠的AI系统。 临床专业知识仍然短缺，AMIE是探索AI系统与熟练临床医生相当属性的未来愿景的尝试，但还需要大量科学研究。

：可以理解图像和音频的内容，并将这些理解与文本输入和输出相结合。

：可以理解图像和音频的内容，并将这些理解与文本输入和输出相结合。 BuboGPT是由字节跳动开发的大型语言模型，能够处理多模态输入，包括文本、图像和音频，并具有将其响应与视觉对象相对应的独特能力。 它可以进行细粒度的视觉理解，音频理解，以及对齐的音频-图像理解和任意音频-图像理解。 BuboGPT的架构是通过学习一个共享的语义空间并进一步探索不同视觉对象和不同模态之间的细粒度关系，从而实现了包括图像、音频和文本在内的多模态理解。 它的训练过程包括两个阶段：单模态预训练和多模态指令调整。 在单模态预训练阶段，对应的模态Q-Former和线性投影层在大量的模态-文本配对数据上进行训练。 在多模态指令调整阶段，使用高质量的多模态指令跟踪数据集对线性投影层进行微调。 当你给它一个图像和一段描述图像的文本时，BuboGPT能够理解文本和图像之间的关系，并生成一个与图像内容相对应的响应。这种能力使得BuboGPT可以在对话中提供更丰富、更具上下文的回答。 音频理解能力：当你给它一个音频剪辑时，它可以生成一个详细的描述，涵盖音频中的所有声音部分，甚至包括一些人类可能无法注意到的短暂音频片段。 BuboGPT还可以处理匹配的音频-图像对，进行声音定位。例如，如果你给它一个场景的图片和场景中发生的声音，它可以理解声音和图像之间的关系，并生成一个描述声音来源位置的响应。 即使音频和图像之间没有直接的关系。在这种情况下，BuboGPT可以生成一个高质量的响应，描述音频和图像之间的可能关系。

三巨头三小时内展开AI模型价格战：他降价！你降价！我免费！

三巨头三小时内展开AI模型价格战：他降价！你降价！我免费！ 大模型的价格战，是否能促进行业发展？目前分为正反两派：一方认为是好事，此举降低了门槛，有利于加速大模型的应用落地；另一方认为是坏事，价格战将压缩利润空间，缺少资金就不能吸引更多人才，有碍技术进步，模型的进化将直接受损，长此以往更不利发展，甚至一批中小型初创企业将被淘汰。巨头掀起价格战：他降价！你降价！我免费！实际上，在此之前，国内大模型企业就出现了降价行为。比如DeepSeek-V2价格做到了每百万tokens1元，智谱AI也把glm3-turbo价格调整到每百万tokens 1元。而引发这波大规模的价格战的则是字节跳动的入场。一周前，字节跳动举行大模型战略发布会，最引人注目的是其激进的价格策略。字节跳动宣布，豆包大模型将正式开启对外服务，火山引擎总裁谭待表示：“豆包主力模型在企业市场的定价只有0.0008元/千Tokens，0.8厘就能处理1500多个汉字，比行业便宜99.3%。”他认为，这将助力企业以极低成本使用大模型、加速大模型的应用落地。“技术驱动的极致性价比才能真正创造价值。”一石激起千层浪。5月21日，阿里云宣布通义千问GPT-4级主力模型Qwen-Turbo、Qwen-Plus、Qwen-Long、Qwen-Max等9款主力AI大模型宣布全面降价。其中，Qwen-Long API输入价格从0.02元/千tokens降至0.0005元/千tokens，最高直降97%。新浪科技对比之后发现，此次降价后，通义千问的价格为0.0005元/千tokens，而此前豆包大模型降价后，其价格为0.0008元/千Tokens。这意味着在相同的tokens数量下，通义千问的价格比豆包大模型便宜。让火药味儿更浓的是，火山引擎相关负责人直接回应友商降价：非常欢迎通义千问大模型降价，共同助力企业以更低成本探索AI转型，加速大模型应用场景落地。不过，巨头们的价格战并未就此结束。5月21日下午，百度文心大模型的两款主力模型ERNIE Speed、ERNIE Lite宣布全面免费，即刻生效。百度这一动作狙击字节跳动和阿里云的意图十分明显，也将这波价格战引入了高潮。支持派：降低成本，还可促进捆绑销售对于大模型的价格战，业内也有着不同的看法。有企业家和业内人士力挺价格战的一派。创新工场董事长兼首席执行官李开复向新浪科技表示，在一定程度上，整个行业每年降低10倍推理成本，这是可以期待的，而且是必然也应该发生的。“这是一个好消息，对整个行业都是好消息。”一位业内人士向新浪科技表示，大模型行业也确实到了要追求落地、衡量商业化的阶段，所以大家都开始考虑用更加激进的降价手段获取客户，价格战是必然会发生的。他同时指出，目前降价的企业，大多是云厂商，或者是有云能力的大模型公司，比如豆包背靠火山引擎，文心大模型背靠百度智能云，通义千问有阿里云，他们也不是全系降价，只是其中一小部分降价，通过这种偏营销色彩的方式获得市场关注。吸引客户之后，他们体量比较大服务比较多，可以有一些捆绑销售的行为，就能整体把利润做起来。他认为，中小初创型大模型企业，在价格战中肯定会受到一些冲击。行业已经卷起来了，总归有些企业会死掉。“现在比拼的也不一定是谁的技术厉害，技术可能是因素之一，但还要比谁的融资能力更强，谁的商业能力更雄厚，最后才能真正地屹立不倒。”反对派：恶性循环，与一流水平差距加大也有很多专家对此表达了担忧。Lepton AI创始人、阿里巴巴原副总裁贾扬清指出，站在整个AI业界的角度，降价是个拍脑袋就可以做的简单策略，但是真正的To B商业成功更难。“今天不是说API贵才没有人用，而是因为，企业首先得搞清楚到底怎么用起来产生业务价值，否则的话，再便宜也是浪费，而今天恰恰实施的这一层是缺的。”贾扬清表示，“也许不是最便宜地赢得商战，而是最能落地地赢得利润。”还有观点认为，国内厂商的模型能力如果达不到OpenAI的水平，一味拼价格并不是一个好策略。比如OpenAI日前宣布推出GPT-4的升级版GPT-4o，实现了文本、音频和图像的多模态交互；谷歌也在I/O开发者大会上亮出了全方位的AI底牌，将AI技术深度整合进其庞大的产品生态中。而国内大模型企业一旦陷入单纯的价格战，现金流会持续承压，缺乏充足的资金投入到招募AI人才、升级基础设施等投资中去，模型进化与迭代也会受到影响，从而让国产基座模型进入发展瓶颈期，与世界一流水平的差距越拉越大。值得注意的是，在大模型价格战的同时，中国工程院院士、国家数字交换系统工程技术研究中心主任、复旦大学大数据研究院院长邬江兴近日指出，“AI内生安全问题是当前AI应用推广中的最大障碍。”他表示，对当前最流行的10种大模型进行安全分析发现，90%以上的主流大模型是不可信的。对于国内大模型企业来说，除了价格战这个吸引关注的策略之外，同样进一步需要在技术水平、安全性等方面下足功夫，提升综合能力，如此才能推动行业健康良性发展。文 | 新浪科技 张俊 ... PC版： 手机版：

谷歌TPU人马打造最快推理芯片 喊话奥特曼：你们也太慢了

谷歌TPU人马打造最快推理芯片 喊话奥特曼：你们也太慢了 （这里面还有个熟悉的身影：Lepton）网友表示：这速度简直就是飞机vs走路。值得一提的是，这并非哪家大公司进展初创公司Groq，GoogleTPU团队原班人马，基于自研芯片推出推理加速方案。（注意不是马斯克的Grok）据他们介绍，其推理速度相较于英伟达GPU提高了10倍，成本却降低到十分之一。换言之，任何一个大模型都可以部署实现。目前已经能支持Mixtral 8x7B SMoE、Llama 2的7B和70B这三种模型，并且可直接体验Demo。他们还在官网上喊话奥特曼：你们推出的东西太慢了……每秒接近500tokens既然如此，那就来体验一下这个号称“史上最快推理”的Groq。先声明：不比较生成质量。就像它自己说的那样，内容概不负责。目前，演示界面上有两种模型可以选择。就选择Mixtral 8x7B-32k和GPT-4同擂台对比一下。提示词：你是一个小学生，还没完成寒假作业。请根据《星际穿越》写一篇500字的读后感。结果啪的一下，只需1.76秒就生成了一长串读后感，速度在每秒478Tokens。不过内容是英文的，以及读后感只有三百六十多字。但后面也赶紧做了解释说考虑到是小学生写不了那么多……至于GPT-4这边的表现，内容质量自然更好，也体现了整个思路过程。但要完全生成超过了三十秒。单是读后感内容的生成，也有近二十秒钟的时间。除了Demo演示外，Groq现在支持API访问，并且完全兼容，可直接从OpenAI的API进行简单切换。可以免费试用10天，这期间可以免费获得100万Tokens。目前支持Llama 2-70B 和7B， Groq可以实现4096的上下文长度，还有Mixtral 8x7B这一型号。当然也不局限于这些型号，Groq支持具体需求具体定制。价格方面，他们保证：一定低于市面上同等价格。不过可以看到，每秒500tokens似乎还不是终极速度，他们最快可以实现每秒750Tokens。GoogleTPU团队创业项目Groq是集软硬件服务于一体的大模型推理加速方案，成立于2016年，创始团队中很多都是GoogleTPU的原班人马。公司领导层的10人中，有5人都曾有Google的工作经历，3人曾在英特尔工作。创始人兼CEO Jonathan Ross，设计并实现了第一代TPU芯片的核心元件，TPU的研发工作中有20%都由他完成。Groq没有走GPU路线，而是自创了全球首个L（anguage）PU方案。LPU的核心奥义是克服两个LLM瓶颈计算密度和内存带宽，最终实现的LLM推理性能比其他基于云平台厂商快18倍。据此前他们介绍，英伟达GPU需要大约10焦耳到30焦耳才能生成响应中的tokens，而 Groq 设置每个tokens大约需要1焦耳到3焦耳。因此，推理速度提高了10倍，成本却降低了十分之一，或者说性价比提高了100倍。延迟方面，在运行70B模型时，输出第一个token时的延时仅有0.22秒。甚至为了适应Groq的性能水平，第三方测评机构ArtificialAnalysis还专门调整了图表坐标轴。据介绍，Groq的芯片采用14nm制程，搭载了230MB大SRAM来保证内存带宽，片上内存带宽达到了80TB/s。算力层面，Gorq芯片的整型（8位）运算速度为750TOPs，浮点（16位）运算速度则为188TFLOPs。Groq主要基于该公司自研的TSP架构，其内存单元与向量和矩阵深度学习功能单元交错，从而利用机器学习工作负载固有的并行性对推理进行加速。在运算处理的同时，每个TSP都还具有网络交换的功能，可直接通过网络与其他TSP交换信息，无需依赖外部的网络设备，这种设计提高了系统的并行处理能力和效率。结合新设计的Dragonfly网络拓扑，hop数减少、通信延迟降低，使得传输效率进一步提高；同时软件调度网络带来了精确的流量控制和路径规划，从而提高了系统的整体性能。Groq支持通过PyTorch、TensorFlow等标准机器学习框架进行推理，暂不支持模型训练。此外Groq还提供了编译平台和本地化硬件方案，不过并未介绍更多详情，想要了解的话需要与团队进行联系。而在第三方网站上，搭载Groq芯片的加速卡售价为2万多美元，差不多15万人民币。它由知名电子元件生产商莫仕（molex）旗下的BittWare代工，同时该厂也为英特尔和AMD代工加速卡。目前，Groq的官网正在招人。技术岗位年薪为10万-50万美元，非技术岗位则为9万-47万美元。“目标是三年超过英伟达”除此之外，这家公司还有个日常操作是叫板喊话各位大佬。当时GPTs商店推出之后，Groq就喊话奥特曼：用GPTs就跟深夜读战争与和平一样慢……阴阳怪气直接拉满~马斯克也曾被它痛斥，说“剽窃”自己的名字。在最新讨论中，他们疑似又有了新操作。一名自称Groq工作人员的用户与网友互动时表示，Groq的目标是打造最快的大模型硬件，并扬言：三年时间内赶超英伟达。这下好了，黄院士的核武器有新的目标了。参考链接：[1] ... PC版： 手机版：