斯坦福大学复制出ChatGPT人工智能训练成本不到600美元

斯坦福大学复制出ChatGPT人工智能训练成本不到600美元六个月前，只有研究人员和博学者在关注大型语言模型的发展。但去年年底ChatGPT的推出震惊了世界：机器现在能够以一种与人类几乎没有区别的方式进行交流。它们能够在几秒钟内写出文本，甚至是跨越一系列令人眼花缭乱的主题领域的编程代码，而且往往是非常高的质量标准。正如GPT-4的推出所表明的那样，它们正在以流星般的速度进步，它们将像其他技术一样从根本上改变人类社会，因为它们有可能将一系列工作任务自动化--特别是在白领工人中，人们以前可能认为这是不可能的。许多其他公司--特别是Google、苹果、Meta、百度和亚马逊等--也不甘落后，它们的人工智能很快就会涌入市场，附着在各种可能的应用和设备上。如果你是Bing的用户，语言模型已经出现在你的搜索引擎中，而且它们很快就会出现在其他地方。它们将出现在你的车里、你的手机里、你的电视上，当你试图给一家公司打电话时，它们会在电话的另一端等待。过不了多久，你就会在机器人中看到它们。有一点值得安慰的是，OpenAI和其他这些大公司都意识到这些机器在垃圾邮件、错误信息、恶意软件、有针对性的骚扰和其他各种大多数人都认为会使世界变得更糟的使用情况方面的疯狂潜力。他们花了好几个月的时间在产品发布前手动削减这些能力。OpenAI首席执行官萨姆-奥特曼（SamAltman）是许多担心政府行动不够迅速的人之一，没有以公共利益的名义为人工智能设置围栏。但是，你可以花600美元自己建立一个语言模型呢？斯坦福大学的一个研究小组已经做到了这一点，其令人印象深刻的表现突出了整个行业及其令人敬畏的能力可能会迅速失去控制。斯坦福大学的一个研究小组从Meta的开源LLaMA7B语言模型开始--这是现有几个LLaMA模型中最小和最便宜的。在一万亿个"tokens"上进行预训练，这个小语言模型有一定的能力，但它在大多数任务中会明显落后于ChatGPT；GPT模型的主要成本，甚至主要竞争优势，主要来自OpenAI在后期训练中投入的大量时间和人力。读了十亿本书是一回事，但通过大量的问答式对话来教导这些AI的实际工作是另一回事。因此，随着LLaMA7B模型的建立和运行，斯坦福大学的团队基本上要求GPT采用175个由人类编写的指令/输出对，并开始以同样的风格和格式生成更多的指令/输出对，每次20个。这是通过OpenAI提供的一个有用的API自动完成的，在很短的时间内，该团队有大约52000个对话样本，用于后期训练LLaMA模型。生成这些大量训练数据的成本不到500美元。然后，他们用这些数据来微调LLaMA模型--这个过程在8台80GB的A100云处理计算机上花了大约3个小时，这又花费了不到100美元。斯坦福大学团队使用GPT-3.5给LLaMA7B提供了一套关于如何完成其工作的指令接下来，他们对产生的模型进行了测试，他们称之为Alpaca，与ChatGPT的底层语言模型在各种领域（包括电子邮件写作、社交媒体和生产力工具）进行对比。在这些测试中，Alpaca赢得了90项，GPT赢得了89项。"鉴于模型规模小，指令跟随数据量不大，我们对这一结果相当惊讶，"该团队写道。"除了利用这个静态评估集，我们还对Alpaca模型进行了交互式测试，发现Alpaca在不同的输入集上往往表现得与text-davinci-003[GPT-3.5]类似。我们承认，我们的评估在规模和多样性方面可能是有限的"。该团队表示，如果他们寻求优化过程，他们可能会更便宜地完成这项工作。值得注意的是，任何希望复制人工智能的人现在都可以获得能力更强的GPT4.0，以及几个更强大的LLaMA模型作为基础，当然也没有必要停留在52000个问题上。斯坦福大学的团队已经在Github上发布了这项研究中使用的52000个问题，以及生成更多问题的代码，还有他们用来微调LLaMA模型的代码。该团队指出，"我们还没有对模型进行微调，使其安全无害"，并要求任何建立这种模型的人报告他们发现的安全和道德问题。那么，有什么可以阻止任何人现在花100美元左右创建他们自己的人工智能，并以他们选择的方式训练它？OpenAI的服务条款确实带来了一些法律问题，它说："你不能......使用服务的输出来开发与OpenAI竞争的模型"。而Meta说它在现阶段只允许学术研究人员在非商业许可下使用LLaMA，尽管这是一个有争议的问题，因为整个LLaMA模型在公布一周后就在4chan上泄露了。哦，还有一个小组说它已经设法消除了云计算成本，在Github上发布了更多的代码，可以在树莓派上运行，并在单个高端nVidiaRTX4090显卡上在5小时内完成训练过程。这一切意味着什么？现在可以建立无限数量的不受控制的语言模型--由具有机器学习知识、不在乎条款和条件或软件盗版的人建立--只需花钱，而且并不是高不可攀。这也给致力于开发自己的语言模型的商业人工智能公司泼了一盆冷水；如果所涉及的大部分时间和费用都发生在训练后阶段，而这项工作或多或少可以在回答50或100000个问题的时间内被窃取，那么公司继续砸钱是否有意义？而对于我们其他人来说，嗯，很难说，但这个软件的强大功能肯定可以为专制政权、网络钓鱼行动、垃圾邮件发送者或任何其他可疑的人所用。精灵已经从瓶子里出来了，而且似乎已经非常容易复制和重新训练了。...PC版：https://www.cnbeta.com.tw/articles/soft/1350283.htm手机版：https://m.cnbeta.com.tw/view/1350283.htm

在Telegram中查看

相关推荐

美国斯坦福大学的一个AI（人工智能）团队就抄袭中国大模型致歉。近日，由三位美国斯坦福学生组成的一个AI团队发布了开源模型Ll

美国斯坦福大学的一个AI（人工智能）团队就抄袭中国大模型致歉。近日，由三位美国斯坦福大学学生组成的一个AI团队发布了开源模型Llama3-V。但是，该模型很快被曝出与中国大模型公司面壁智能的开源成果MiniCPM-Llama3-V2.5拥有几乎完全相同的模型架构与代码，引发“抄袭”质疑。当地时间6月3日，Llama3-V团队的两位作者森德哈斯・沙玛（SiddharthSharma）和阿克沙・加格（AkshGarg）在社交平台X上发布文章，向MiniCPM团队正式道歉，表示会将Llama3-V模型从网络上撤下。

斯坦福大学研究表明世界上最大的人工智能模型并不很透明

斯坦福大学研究表明世界上最大的人工智能模型并不很透明今天，斯坦福HAI发布了其基础模型透明度指数，该指数追踪10个最受欢迎的人工智能模型的创建者是否披露有关其工作以及人们如何使用其系统的信息。在其测试的模型中，Meta的Llama2得分最高，其次是BloomZ，然后是OpenAI的GPT-4。但事实证明，他们都没有得到特别高的分数。其他评估的模型包括Stability的StableDiffusion、Anthropic的Claude、Google的PaLM2、Cohere的Command、AI21Labs的Jurassic2、Inflection的Inflection-1和Amazon的Titan。研究人员承认，透明度可以是一个相当广泛的概念。他们的定义基于100个指标，这些指标提供有关模型如何构建、模型如何工作以及人们如何使用模型的信息。他们解析了有关该模型的公开信息，并给每个人打分，指出这些公司是否披露了合作伙伴和第三方开发商，是否告诉客户他们的模型是否使用了私人信息，以及一系列其他问题。随着该公司发布了对模型创建的研究，Meta得分为53%，在模型基础知识上得分最高。开源模型BloomZ紧随其后，获得了50%的支持，GPT-4获得了47%的支持——尽管OpenAI的设计方法相对锁定，但它与稳定扩散并列。OpenAI拒绝公布其大部分研究成果，也没有透露数据源，但GPT-4却成功排名靠前，因为有大量有关其合作伙伴的可用信息。OpenAI与许多不同的公司合作，将GPT-4集成到他们的产品中，产生了大量可供查看的公开细节。然而，斯坦福大学的研究人员发现，这些模型的创建者都没有透露任何有关社会影响的信息，包括向何处提出隐私、版权或偏见投诉。斯坦福大学基础模型研究中心的学会负责人、该指数的研究人员之一RishiBommasani表示，该指数的目标是为政府和公司提供基准。一些拟议的法规，例如欧盟的人工智能法案，可能很快就会迫使大型基础模型的开发商提供透明度报告。“我们试图通过该指数实现的目标是使模型更加透明，并将非常不明确的概念分解为可以测量的更具体的事物，”博马萨尼说。该小组专注于每个公司的一种模型，以便更容易进行比较。生成式人工智能拥有一个庞大而活跃的开源社区，但该领域的一些最大的公司并没有公开分享研究成果或他们的代码。尽管OpenAI的名称中有“开放”一词，但它以竞争和安全问题为由，不再分发其研究成果。Bommasani表示，该组织对扩大该指数的范围持开放态度，但与此同时，将坚持使用已经评估过的10个基础模型。...PC版：https://www.cnbeta.com.tw/articles/soft/1390877.htm手机版：https://m.cnbeta.com.tw/view/1390877.htm

6月20日消息，斯坦福大学基础模型研究中心主任PercyLiang发文表示，阿里通义千问Qwen2-72B模型成为排名最高的开源

6月20日消息，斯坦福大学基础模型研究中心主任PercyLiang发文表示，阿里通义千问Qwen2-72B模型成为排名最高的开源大模型，性能超越Llama3-70B模型。日前，斯坦福大学基础模型研究中心主任PercyLiang在社交平台发布了HELMMMLU最新榜单，阿里巴巴的通义千问开源模型Qwen2-72B排名第5，仅次于Claude3Opus、GPT-4o、Gemini1.5pro、GPT-4，是排名第一的开源大模型，也是排名最高的中国大模型。据悉，通义千问Qwen2于6月初开源，包含5个尺寸的预训练和指令微调模型，目前Qwen系列模型下载量已经突破1600万。

斯坦福大学发布人工智能状况报告

斯坦福大学发布人工智能状况报告虽然现在人工智能发展之快，让任何与人工智能有关的报告一发布就面临过期的风险，但是我们仍然能从这份386页的中得到一些有用的信息：·在过去的十年里，人工智能的发展已经从学术界主导翻转到了工业界主导，而且这没有改变的迹象。·在传统基准上测试模型正变得困难，这里可能需要一种新的模式。·人工智能训练和使用的能源占用正在变得相当大，但我们还没有看到它如何在其他地方增加效率。·与人工智能相关的技能和工作岗位正在增加，但没有你想象的那么快。·政策制定者们正在努力编写一个明确的人工智能法案，如果有的话，这是一个愚蠢的差事。·投资已经暂时停滞，但这是在过去十年的天文数字般的增长之后。·超过70%的中国、沙特和印度受访者认为人工智能的好处多于坏处。美国人呢？35%。来源，，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

#美国 #斯坦福大学艺术馆

#美国#斯坦福大学艺术馆【华侨出海独家素材频道】斯坦福大学艺术馆（CantorArtsCenter）位于美国加州斯坦福大学校园内，是一座以收藏、展示和研究艺术品为主要任务的博物馆。该艺术馆成立于1891年，是美国西部最古老的艺术博物馆之一，拥有丰富的艺术品收藏，包括欧洲绘画、雕塑、亚洲艺术、非洲艺术、美洲原住民艺术等。斯坦福大学艺术馆的地址是：328LomitaDr,Stanford,CA94305，位于斯坦福大学校园内，距离旧金山市区约有40公里。可以乘坐公共交通工具或自驾前往。

【SBF父母自2023年起将不在斯坦福大学任教】

【SBF父母自2023年起将不在斯坦福大学任教】前FTX首席执行官SamBankman-Fried（SBF）的父母将从2023年开始不在斯坦福大学任教。据悉，SBF父亲JosephBankman自1988年以来一直在斯坦福大学法学院任教，他原计划在该校继续教授税收政策法律课程，但据相关公告显示该课程已取消；SBF母亲BarbaraFried也是斯坦福大学的法学教授，自1987年以来一直在该校任教，目前已经没有出现在斯坦福大学的讲师名单中，不过BarbaraFried表示她离开斯坦福“与其他任何事情无关”。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人