斯坦福大学复制出ChatGPT人工智能 训练成本不到600美元

斯坦福大学复制出ChatGPT人工智能训练成本不到600美元六个月前，只有研究人员和博学者在关注大型语言模型的发展。但去年年底ChatGPT的推出震惊了世界：机器现在能够以一种与人类几乎没有区别的方式进行交流。它们能够在几秒钟内写出文本，甚至是跨越一系列令人眼花缭乱的主题领域的编程代码，而且往往是非常高的质量标准。正如GPT-4的推出所表明的那样，它们正在以流星般的速度进步，它们将像其他技术一样从根本上改变人类社会，因为它们有可能将一系列工作任务自动化--特别是在白领工人中，人们以前可能认为这是不可能的。许多其他公司--特别是Google、苹果、Meta、百度和亚马逊等--也不甘落后，它们的人工智能很快就会涌入市场，附着在各种可能的应用和设备上。如果你是Bing的用户，语言模型已经出现在你的搜索引擎中，而且它们很快就会出现在其他地方。它们将出现在你的车里、你的手机里、你的电视上，当你试图给一家公司打电话时，它们会在电话的另一端等待。过不了多久，你就会在机器人中看到它们。有一点值得安慰的是，OpenAI和其他这些大公司都意识到这些机器在垃圾邮件、错误信息、恶意软件、有针对性的骚扰和其他各种大多数人都认为会使世界变得更糟的使用情况方面的疯狂潜力。他们花了好几个月的时间在产品发布前手动削减这些能力。OpenAI首席执行官萨姆-奥特曼（SamAltman）是许多担心政府行动不够迅速的人之一，没有以公共利益的名义为人工智能设置围栏。但是，你可以花600美元自己建立一个语言模型呢？斯坦福大学的一个研究小组已经做到了这一点，其令人印象深刻的表现突出了整个行业及其令人敬畏的能力可能会迅速失去控制。斯坦福大学的一个研究小组从Meta的开源LLaMA7B语言模型开始--这是现有几个LLaMA模型中最小和最便宜的。在一万亿个"tokens"上进行预训练，这个小语言模型有一定的能力，但它在大多数任务中会明显落后于ChatGPT；GPT模型的主要成本，甚至主要竞争优势，主要来自OpenAI在后期训练中投入的大量时间和人力。读了十亿本书是一回事，但通过大量的问答式对话来教导这些AI的实际工作是另一回事。因此，随着LLaMA7B模型的建立和运行，斯坦福大学的团队基本上要求GPT采用175个由人类编写的指令/输出对，并开始以同样的风格和格式生成更多的指令/输出对，每次20个。这是通过OpenAI提供的一个有用的API自动完成的，在很短的时间内，该团队有大约52000个对话样本，用于后期训练LLaMA模型。生成这些大量训练数据的成本不到500美元。然后，他们用这些数据来微调LLaMA模型--这个过程在8台80GB的A100云处理计算机上花了大约3个小时，这又花费了不到100美元。斯坦福大学团队使用GPT-3.5给LLaMA7B提供了一套关于如何完成其工作的指令接下来，他们对产生的模型进行了测试，他们称之为Alpaca，与ChatGPT的底层语言模型在各种领域（包括电子邮件写作、社交媒体和生产力工具）进行对比。在这些测试中，Alpaca赢得了90项，GPT赢得了89项。"鉴于模型规模小，指令跟随数据量不大，我们对这一结果相当惊讶，"该团队写道。"除了利用这个静态评估集，我们还对Alpaca模型进行了交互式测试，发现Alpaca在不同的输入集上往往表现得与text-davinci-003[GPT-3.5]类似。我们承认，我们的评估在规模和多样性方面可能是有限的"。该团队表示，如果他们寻求优化过程，他们可能会更便宜地完成这项工作。值得注意的是，任何希望复制人工智能的人现在都可以获得能力更强的GPT4.0，以及几个更强大的LLaMA模型作为基础，当然也没有必要停留在52000个问题上。斯坦福大学的团队已经在Github上发布了这项研究中使用的52000个问题，以及生成更多问题的代码，还有他们用来微调LLaMA模型的代码。该团队指出，"我们还没有对模型进行微调，使其安全无害"，并要求任何建立这种模型的人报告他们发现的安全和道德问题。那么，有什么可以阻止任何人现在花100美元左右创建他们自己的人工智能，并以他们选择的方式训练它？OpenAI的服务条款确实带来了一些法律问题，它说："你不能......使用服务的输出来开发与OpenAI竞争的模型"。而Meta说它在现阶段只允许学术研究人员在非商业许可下使用LLaMA，尽管这是一个有争议的问题，因为整个LLaMA模型在公布一周后就在4chan上泄露了。哦，还有一个小组说它已经设法消除了云计算成本，在Github上发布了更多的代码，可以在树莓派上运行，并在单个高端nVidiaRTX4090显卡上在5小时内完成训练过程。这一切意味着什么？现在可以建立无限数量的不受控制的语言模型--由具有机器学习知识、不在乎条款和条件或软件盗版的人建立--只需花钱，而且并不是高不可攀。这也给致力于开发自己的语言模型的商业人工智能公司泼了一盆冷水；如果所涉及的大部分时间和费用都发生在训练后阶段，而这项工作或多或少可以在回答50或100000个问题的时间内被窃取，那么公司继续砸钱是否有意义？而对于我们其他人来说，嗯，很难说，但这个软件的强大功能肯定可以为专制政权、网络钓鱼行动、垃圾邮件发送者或任何其他可疑的人所用。精灵已经从瓶子里出来了，而且似乎已经非常容易复制和重新训练了。...PC版：https://www.cnbeta.com.tw/articles/soft/1350283.htm手机版：https://m.cnbeta.com.tw/view/1350283.htm

研究：人工智能模型缺乏透明度 或将加大监管难度

研究：人工智能模型缺乏透明度或将加大监管难度一项研究显示，目前主要的人工智能模型缺乏透明度，或将加大政策制定者拟定有效政策来监管这项科技的难度。法新社报道，这项由哈佛大学研究员于星期三（10月18日）发表的研究，旨在指导政策制定者对人工智能科技方面进行监管。研究人员设计了一个“基础模型透明指数”，并对10家主要的人工智能公司进行了排名。得分最高的是由脸书母公司Meta Platforms于今年7月推出的人工智能模型“Llama2”，得分为54%。推出人工智能聊天机器人ChatGPT的美国人工智能公司OpenAI，今年3月发布的大型语言数据库模型GPT-4排名第三，得分为48%。谷歌推出的“PaLM2”以40%排在第五位，略高于亚马逊支持的人工智能初创公司Anthropic推出的“Claude2”人工智能模型（36%）。斯坦福大学基金会模型研究中心的研究员博马萨尼说，这些公司应该努力争取80%到100%的得分。研究人员指出，“较低的透明度将使政策制定者更难以制定有意义的政策，以对这一强大的科技进行监管。”此外，这也让其他企业更难得知自己的应用是否可依赖这项科技，同时让学术界更难以进行研究，消费者也更难以了解模型的局限性。“如果没有透明度，监管机构甚至无法提出正确的问题，更别说是在这些地方采取行动了。”这项研究发现，没有一家公司提供有多少用户依赖使用人工智能模型的信息，或它们使用的地理位置信息。此外，多数人工智能公司都不披露其模型中使用了多少收版权保护的资料。

6月20日消息，斯坦福大学基础模型研究中心主任PercyLiang发文表示，阿里通义千问Qwen2-72B模型成为排名最高的开源

6月20日消息，斯坦福大学基础模型研究中心主任PercyLiang发文表示，阿里通义千问Qwen2-72B模型成为排名最高的开源大模型，性能超越Llama3-70B模型。日前，斯坦福大学基础模型研究中心主任PercyLiang在社交平台发布了HELMMMLU最新榜单，阿里巴巴的通义千问开源模型Qwen2-72B排名第5，仅次于Claude3Opus、GPT-4o、Gemini1.5pro、GPT-4，是排名第一的开源大模型，也是排名最高的中国大模型。据悉，通义千问Qwen2于6月初开源，包含5个尺寸的预训练和指令微调模型，目前Qwen系列模型下载量已经突破1600万。

斯坦福大学发布人工智能状况报告

斯坦福大学发布人工智能状况报告虽然现在人工智能发展之快，让任何与人工智能有关的报告一发布就面临过期的风险，但是我们仍然能从这份386页的中得到一些有用的信息：·在过去的十年里，人工智能的发展已经从学术界主导翻转到了工业界主导，而且这没有改变的迹象。·在传统基准上测试模型正变得困难，这里可能需要一种新的模式。·人工智能训练和使用的能源占用正在变得相当大，但我们还没有看到它如何在其他地方增加效率。·与人工智能相关的技能和工作岗位正在增加，但没有你想象的那么快。·政策制定者们正在努力编写一个明确的人工智能法案，如果有的话，这是一个愚蠢的差事。·投资已经暂时停滞，但这是在过去十年的天文数字般的增长之后。·超过70%的中国、沙特和印度受访者认为人工智能的好处多于坏处。美国人呢？35%。来源，，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

斯坦福大学科学家构建了首个合成人类微生物组模型

斯坦福大学科学家构建了首个合成人类微生物组模型斯坦福大学的一个研究小组构建了第一个合成微生物组模型，该模型完全从零开始构建--包括100多个不同的细菌物种。研究人员们希望这一成就将彻底改变肠道微生物组的研究，进而能提供一个可用于未来实验的一致工作模型。PC版：https://www.cnbeta.com/articles/soft/1315083.htm手机版：https://m.cnbeta.com/view/1315083.htm

OPENAI 推出面向所有用户的更快更便宜人工智能模型

OPENAI推出面向所有用户的更快更便宜人工智能模型OpenAI推出了一个更快、更便宜的人工智能模型来支持其聊天机器人ChatGPT。在周一的直播活动中，OpenAI推出了新的大语言模型GPT-4o。这是其已经问世一年多的GPT-4模型的更新版本。该模型基于来自互联网的大量数据进行训练，更擅长处理文本和音频，并且支持50种语言。新模式将面向所有用户，而不仅仅是付费用户。GPT-4o的发布势将撼动快速发展的人工智能领域，目前GPT-4仍然是黄金标准。OpenAI发布新模型也正值谷歌I/O开发者大会的前一天。谷歌是人工智能领域的早期领导者，预计将利用这次活动发布更多人工智能更新，以追赶有微软公司支持的OpenAI。——、、