OpenAI CEO：大语言模型并非越大越好

OpenAICEO：大语言模型并非越大越好OpenAI联合创始人兼CEOSamAltman在麻省理工学院的活动上接受了媒体的采访时表示，大小并非衡量一个模型质量的正确方式，他还把LLM与芯片的发展速度进行了比较。他认为人们过于关注参数数量，也许参数数量肯定会增加。就如同现在有些手机上运行着功能更强大的芯片，但用户大多数时候并不知道它们的速度有多快，只知道它们能很好地完成工作。Altman认为，未来模型参数应该向更小的方向发展，或者以多个小模型协作的方式工作，参数数量应该随着时间的推移而减少，或者我们应该让多个模型一起工作。如今，越来越多的科技公司提出为广大企业的特定需求打造专属大语言模型的战略，为智能聊天和客户支持、专业内容创作、数字模拟等任务构建专属的、特定领域的生成式AI应用。附：来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

OpenAI CEO：巨型AI模型时代即将终结 想进步别再靠扩大规模

OpenAICEO：巨型AI模型时代即将终结想进步别再靠扩大规模近年来，OpenAI通过将现有的机器学习算法扩展到以前无法想象的规模，在处理语言方面取得了一系列令人印象深刻的进步。其最近开发的项目是GPT-4，据称已经使用数万亿字的文本和数千个强大的计算机芯片进行训练，耗资超过1亿美元。但是，奥尔特曼表示，未来AI的进步不再依赖于将模型变得更大。在麻省理工学院的一次活动上，他说：“我认为，我们正处在一个时代的尽头。在（即将过去的）这个时代，模型变得越来越大。现在，我们会在其他方面让它们变得更好。”奥尔特曼的表态意味着，开发和部署新AI算法的竞赛出现了出人意料的转折。自去年11月推出ChatGPT以来，微软就开始利用这一底层技术在其必应搜索引擎中添加了聊天机器人，谷歌也推出了名为Bard的竞争对手。许多人都迫不及待地尝试使用这种新型聊天机器人来帮助完成工作或个人任务。与此同时，许多资金充足的初创公司，包括Anthropic、AI21、Cohere和Character.AI等，正在投入大量资源用于构建更大的算法，以努力赶上OpenAI的脚步。ChatGPT的初始版本是基于GPT-3构建的，但用户现在也可以访问功能更强大的GPT-4支持的版本。奥尔特曼的陈述也暗示，采用将模型扩大并提供更多数据进行训练的策略后，GPT-4可能是OpenAI最后一项重大成果。不过，他没有透露任何可能替代当前方法的研究策略或技术。在描述GPT-4的论文中，OpenAI表示，其估计表明，扩大模型规模的回报正在减少。奥尔特曼说，该公司可以建立的数据中心数量以及建设这些中心的速度也都受到物理限制。Cohere的联合创始人尼克·弗罗斯特（NickFrosst）曾在谷歌从事人工智能研究，他表示，奥尔特曼所说的“不断扩大模型规模并不是无限制的有效解决方案”是正确的。他认为，针对GPT-4和其他transformers类型（编辑组：transformers直译为转换器，而GPT是Generativepre-trainedtransformers的简写，意思是基于转换器的生成式预训练模型）的机器学习模型，进展不再只是靠扩大规模。弗罗斯特补充说：“有很多方法可以让transformers变得更好、更有用，而且很多方法都不涉及给模型增加参数。新的人工智能模型设计或架构，以及基于人类反馈的进一步调整，都是许多研究人员已经在探索的前进方向。”在OpenAI的语言算法家族中，每个版本都由人工神经网络组成，这个软件的设计灵感来自于神经元之间相互作用的方式，经过训练后，它可以预测应该跟随在给定文本字符串后面的单词。2019年，OpenAI发布了其第一个语言模型GPT-2。它最多涉及到15亿个参数，这一指标能够衡量神经元之间可调整的连接数量的大小。这个数字非常大，这在某种程度上要归功于OpenAI研究人员的发现，扩大规模使模型变得更加连贯。2020年，OpenAI推出GPT-2的后继者GPT-3，该模型规模更大，参数高达1750亿个。GPT-3在生成诗歌、电子邮件和其他文本方面具备广泛能力，这令其他公司和研究机构相信，他们可以将自己的AI模型扩展到与GPT-3类似甚至更大的规模。去年11月，ChatGPT首次亮相后，表情包制造者和科技专家猜测，当GPT-4问世时，它将是个拥有更多参数、更为复杂的模型。然而，当OpenAI最终宣布新的人工智能模型时，该公司没有透露它有多大，也许是因为规模不再是唯一重要的因素。在麻省理工学院的活动上，奥尔特曼被问及GPT-4的培训成本是否有1亿美元，他回答说：“不止如此。”尽管OpenAI对GPT-4的规模和内部工作原理保密，但很可能它已经不再仅仅依赖于扩大规模来提高性能。有一种可能性是，该公司使用了名为“强化学习与人类反馈”的方法，用于增强ChatGPT的能力，包括让人类判断模型答案的质量，以引导它提供更有可能被判断为高质量的答案。GPT-4的非凡能力让许多专家感到震惊，并引发了关于AI改变经济潜力的辩论，以及其可能传播虚假信息和制造失业的担忧。许多企业家和AI专家最近签署了一封公开信，呼吁暂停开发比GPT-4更强大的模型6个月，其中包括特斯拉首席执行官埃隆·马斯克。在麻省理工学院的活动中，奥尔特曼证实，他的公司目前没有开发GPT-5。他补充说：“这封公开信的早期版本声称OpenAI正在训练GPT-5。实际上我们并没有这样做，短期内也不会。”（小小）...PC版：https://www.cnbeta.com.tw/articles/soft/1355341.htm手机版：https://m.cnbeta.com.tw/view/1355341.htm

微软开发新型AI语言模型MAI-1，或将挑战OpenAI和Google

微软开发新型AI语言模型MAI-1，或将挑战OpenAI和Google微软正在开发一个名为MAI-1的新型大规模AI语言模型，该模型可能与Google、Anthropic和OpenAI的最新模型竞争。此项目由前GoogleAI领导者、Inflection前首席执行官MustafaSuleyman领导，MAI-1将拥有大约5000亿参数。该模型的开发标志着微软在投资OpenAI超过100亿美元后，首次独立开发此规模的AI模型。据报道，MAI-1的性能将决定其最佳应用场景，而微软也在为该模型配置大量服务器和训练数据。MAI-1的首次展示可能在本月晚些时候的Build开发者大会上进行。关注频道@ZaiHuaTG频道投稿@ZaiHuabot

「快意」大模型（KwaiYii） 是由快手AI团队从零到一独立自主研发的一系列大规模语言模型（Large Language Mo

「快意」大模型（）是由快手AI团队从零到一独立自主研发的一系列大规模语言模型（LargeLanguageModel，LLM），当前包含了多种参数规模的模型，并覆盖了预训练模型（KwaiYii-Base)、对话模型（KwaiYii-Chat)。这里面我们介绍13B规模的系列模型KwaiYii-13B，其主要特点包括：KwaiYii-13B-Base预训练模型具备优异的通用技术底座能力，在绝大部分权威的中/英文Benchmark上取得了同等模型尺寸下的State-Of-The-Art效果。例如，KwaiYii-13B-Base预训练模型在MMLU、CMMLU、C-Eval、HumanEval等Benchmark上目前处于同等模型规模的领先水平。KwaiYii-13B-Chat对话模型具备出色的语言理解和生成能力，支持内容创作、信息咨询、数学逻辑、代码编写、多轮对话等广泛任务，人工评估结果表明KwaiYii-13B-Chat超过主流的开源模型，并在内容创作、信息咨询和数学解题上接近ChatGPT(3.5)同等水平。

Kimi 概念盘初大幅跳水 布局长文本并非越大越好

Kimi概念盘初大幅跳水布局长文本并非越大越好3月25日，A股三大指数集体低开，Kimi概念盘初大幅跳水，中广天择闪崩触及跌停，华策影视跌超10%，海天瑞声、世纪天鸿、引力传媒等多股大跌。与之相对，算力板块组织反扑，润建股份二连板，数据港触及涨停，奥飞数据、依米康、浪潮信息集体走强。二级市场Kimi概念热度逐渐回落，投资逻辑回归产业链本质。Kimi是AI大模型初创企业月之暗面（Moonshot）推出的AI产品，后者披露Kimi智能助手在长上下文窗口技术上取得突破，无损上下文长度提升了一个数量级到200万字。该消息在二级市场引发多日追涨，也拉动相关公司布局长文本。（第一财经）

AI 大模型的语言不平等：英语最便宜，其它语言要贵得多

AI大模型的语言不平等：英语最便宜，其它语言要贵得多用户所使用的语言对于大型语言模型（LLM）的费用有很大的影响，可能造成英语使用者和其它语言使用者之间的人工智能鸿沟。最近的一项研究显示，由于OpenAI等服务所采用的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的1.5倍，而缅甸的掸语则是英语的15倍。推特用户DylanPatel分享了一张照片，展示了牛津大学进行的一项研究，该研究发现，让一个LLM处理一句缅甸语句子需要198个词元（tokens），而同样的句子用英语写只需要17个词元。词元代表了通过API（如OpenAI的ChatGPT或Anthropic的Claude2）访问LLM所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出11倍。词元化模型（即人工智能公司将用户输入转换为计算成本的方式）意味着，除了英语之外的其他语言使用和训练模型要贵得多。这是因为像中文这样的语言有着不同、更复杂的结构（无论是从语法还是字符数量上），导致它们需要更高的词元化率。例如，根据OpenAI的GPT3分词器，“你的爱意（youraffection）”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有4个字符（你的爱意），而英文有14个字符。——、