LLMPruner：大语言模型裁剪工具。通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够

：大语言模型裁剪工具。通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够保留预训练中学习到的知识。大语言模型(LLM,LargeLanguageModel)犹如雨后春笋般，其虽然效果惊艳，但参数量巨大，让普通玩家望而却步。如今的大语言模型大多为多语种大预言模型(MultilingualLargeLanguageModel)，如LLaMA、mT5、Bloom等，其词表规模巨大，占据非常大部分的模型参数，如Bloom具有25万词表。在训练模型时，词表权重将会消耗非常大的显存，降低训练速度，产生OOM的现象。但在许多下游任务中，一般只会用到一两种语言，例如在中文场景中，一般只会用到中英文。我们可以对大语言模型的词表进行裁剪，只留下所需的部分，这样不仅能够充分保留模型的预训练知识，并且能够使用更少的显卡进行下游任务的finetune，提升训练效率。#工具

ChatGPT修bug横扫全场 准确率达78%

ChatGPT修bug横扫全场准确率达78%ChatGPT准确修复了其中31个bug，遥遥领先第二名（21个），直接拿下“AI修bug界”的SOTA成绩！于是乎，这项研究引来了众多网友的围观和讨论，Reddit上发布此帖的标题更是用上了“小心”、“注意”这样的字眼：但事实上，这真的会让程序员“危”吗？我们不妨先来看下这项研究。很会修bug的ChatGPT虽然ChatGPT并非是为了专门修改bug而生，但自打它问世以来，不少网友们都发现它是具备这项能力的。因此研究人员为了摸清ChatGPT到底能修改bug到什么程度，便引入了标准的错误修复基准集QuixBugs来进行评估。以及与它同台竞技的AI选手，分别是CodeX、CoCoNut和StandardAPR。研究人员从QuixBugs中挑了40个问题，分别让它们来修复bug。让ChatGPT来修bug的方法，就是在对话框里向它提问：这个代码有什么错误吗？在第一轮较量过后，结果如下：从第一轮battle结果来看，ChatGPT修复了19个，CodeX修复了21个，CoCoNut修复了19个，StandardAPR则是7个。而且研究人员还发现，ChatGPT的答案与CodeX最为相似；这是因为它俩是来自同一个语言模型家族。这时候就会有小伙伴要问了，“ChatGPT不是还没有CodeX厉害吗”。别急，不要忘了，ChatGPT的一个特点就是越问越“上道”。例如在这个基准集中，有一个叫bitcount的问题，ChatGPT在刚才第一轮修复过程中是给了错误的答案：原本ChatGPT应该将第7行的n^=n-1改为n&=n-1。但在第一轮中它的回答是：如果没有更多关于预期行为和导致问题的输入信息，我无法判断程序是否存在错误。于是在给予它更多信息之后，ChatGPT便答对了这个问题。以此类推，在对第一轮没答对的问题进行更多信息提示之后，ChatGPT的修bug能力有了大幅提高：最终，ChatGPT在QuixBugs的40个问题里答对了31个。网友忧喜参半对于这样的实验结果，网友们对ChatGPT修bug拿下SOTA这事产生的态度却不太一样。有网友认为这事不应该让程序员感到危机，而是会让他们觉得开心才对。言外之意，便是程序员们有了这么好用的工具，干活儿就会变得事半功倍。不过也有人对此给出了不一样的看法：工作变得简单，不也就意味着需要的人力更少了吗？但还网友觉得，活儿是干不完的：即使AI能把开发时间缩短一个数量级，也只是意味着程序员将更快处理下一个工作。整体来看，ChatGPT很会修bug，并不会给程序员带来什么致命伤害。但若是把目光放到OpenAI其他的行动中呢？全球招外包训练ChatGPT写代码在此之前，OpenAI就表示过ChatGPT的重要用途之一是帮助程序员检查代码。换言之，它被定位可用的辅助工具。相比“ChatGPT带来威胁”的看法，等ChatGPT能力彻底进化，程序员都不用再怕写bug了。OpenAI布局的棋盘上，可不只有改bug偷塔程序员岗位这一件事。为了让它更大更强，OpenAI被曝在拉美和东欧等地区，提供了1000个外包岗位。外包员工的主要工作是标注数据，以及训练ChatGPT写代码这1000人中，40%是程序员，他们为OpenAI的模型创建数据，用来学习软件工程任务。一直以来，OpenAI的训练数据是从GitHub上抓取的。现在外包程序员们新手搓的数据集，不仅包括代码行，还包括代码行背后的人类思考逻辑步骤。有位南美的软件开发人员爆料，他为OpenAI完成了五小时的无偿编码测试。整个过程中，他的任务分为两部分。用书面英语解释如何处理一个编码问题；提供解决方案。如果发现bug，OpenAI会向他详细询问bug的具体情况，并请教如何修正。程序员需要展示思考问题的每个步骤，他据此猜测OpenAI很可能想为ChatGPT提供非常具体的训练数据。特斯拉前AI主管AndrejKarpathy在推特上调侃：最新的热门编程语言是英语。不过话说回来，ChatGPT修bug能力强是好事，要真能搞进化到可以完成代码里死记硬背的部分，也是好事。毕竟OpenAI成立时对外宣称的宗旨，就是希望“确保通用人工智能可以造福全人类”。虽然乍一看它这些年做的事，有点像在致力于用一部分人的努力，让更多人失业。从Dota2赛场上碾压人类，到GPT-3、DALL-E2、ChatGPT的闪耀表现，它带来的新产品总是伴随着“快要让xxx失业了”的议论声。但无论如何，商业却一直对它青睐有加。就目前而言，OpenAI的主要商业模式是API费用、token费用和软件许可。OpenAI近期还发布了ChatGPT的付费版ChatGPTPro，每月费用42美元（约合285元人民币）。虽然机器人对话初创公司如雨后春笋般冒出，但诸多迹象表明市场对OpenAI的持续看好。微软刚刚宣布将向OpenAI加码投资数十亿美元，并将OpenAI的模型融入微软必应等消费级和企业级产品中。根据知情人士透露，此次追加投资数额约为100亿美元。与此同时，WSJ披露的消息显示，1月初，亿万富翁PeterThiel创立的风投基金FoundersFund正在就投资OpenAI进行谈判。据悉，融资金额将至少达3亿美元。OneMoreThing在第一轮实验中，ChatGPT并没有解决QuixBugs数据集的bitcount问题。但若是你现在再重头问一次这个问题，就会发现ChatGPT可以“一遍过”：那么这是否意味着ChatGPT已经从这次研究过程中学会求解了呢？...PC版：https://www.cnbeta.com.tw/articles/soft/1342807.htm手机版：https://m.cnbeta.com.tw/view/1342807.htm

人人都为AIGC狂 似2000年互联网泡沫重演？

人人都为AIGC狂似2000年互联网泡沫重演？“如果要说时隔20年的两次繁荣有何共同点，那就是无论资金还是人才都在涌入相关领域，场面热火朝天。”六禾创投合伙人陈璧葵在接受第一财经记者采访时表示。那么，人工智能带来的此轮热潮会否重蹈二十多年前的覆辙？创业热潮，AI成吸金兽陈璧葵现居美国加利福尼亚州，长期关注并投资包括软件即服务（SaaS）、硬科技等赛道，他于两年前投资了一家向量数据库初创企业，其产品可以处理复杂数据，进行大模型训练，是AI原生基础设施组件。“我刚投资时，那只是一个名不见经传的创业项目，如今因踩中AIGC风口，团队正面对绝佳窗口期，很多投资者纷至沓来。”陈璧葵说。据市场调研公司PitchBook的最新数据，2022年全年，约45亿美元资金注入AIGC初创企业，来到2023年，仅一季度该行业就宣布或完成规模逾120亿美元的风投交易，是去年全年的2.7倍。这些出手阔绰的金主包括科技巨头以及风投机构，前者押注头部AIGC企业，后者更多的是寻找优质的“AI+”项目。经典案例就是年初时，微软斥资百亿美元投资ChatGPT开发者OpenAI。获得资本垂青的初创企业迅速成长为独角兽——即估值超过10亿美元的初创公司。美国研究机构CBInsights数据显示，截至5月10日，全球AIGC独角兽约有13只，今年迄今就有加拿大Cohere、美国Runway等五家加入十亿美元俱乐部，上述13家企业从创立到成为独角兽平均历时3.6年，较历史平均值7年要缩减一半时间。而在上世纪90年代末，大量初创企业同样如雨后春笋，一份商业计划书，企业名带有前缀“e-”或后缀“．com”，就能轻易换取数千万美元的融资。陈璧葵认为，两轮繁荣的不同之处在于，当年，企业多数停留在讲故事阶段，各项应用并不成熟，许多商业模式未有得到验证，大家都在摸着石头过河。反观当前，AI和AIGC已给企业带来了实实在在的价值，例如工作效率的提升以及明确的盈利模式。“互联网的问世相当于开辟一片新大陆，上面一片荒芜，而AIGC的出现更像是在这片大陆上建设摩天大楼，而门槛也相对更高。”陈璧葵形容道。芯片股今年狂飙等待独角兽成长的同时，不妨碍投资者激情下单已经上市的概念股。科技板块尤其是芯片股一改去年颓势一飞冲天，其中，英伟达因其芯片可满足生成式AI的计算密集型需求，产品丰富性也居行业领先水平，成此轮AI热潮的最大赢家。今年首六个月，英伟达股价暴涨1.9倍，市值于6月首次站上万亿美元关口，成为继苹果、亚马逊、微软、谷歌母公司Alphabet、Meta和特斯拉之后，第七位美国万亿美元俱乐部成员，也问鼎全球市值最高芯片公司。投资者憧憬其他芯片公司也能复刻火爆行情，资金大肆炒作相关题材，华尔街成领头大哥，高调宣布allinAI的投资大佬不在少数。潘兴广场资产管理公司（PershingSquareCapitalManagement）创始人、亿万富翁投资人阿克曼（BillAckman）一季度向谷歌投资逾10亿美元；同期，知名对冲基金经理德鲁肯米勒（StanleyDruckenmiller）斥资4.3亿美元加仓英伟达及微软。在一众大佬加持下，其他芯片股同样狂飙，英伟达劲敌超威半导体（AMD）大涨75.9%，该公司于6月13日宣布推出用于训练大模型的AI处理器系列，向前者发起挑战；全球最大芯片代工制造商，同时也是英伟达代工厂的台积电今年以来累计上扬35.5%；博通（Broadcom）累计涨幅为55.1%。微软、谷歌、Meta等科技巨头争相增加算力储备、展开军备竞赛，三只个股今年涨势大幅跑赢大盘，微软上涨42.0%，谷歌涨幅为36.3%，Meta暴涨1.4倍；同期，标普500指数累计涨幅为15.9%。AI泡沫酝酿泡沫往往在一边倒的看涨声中酝酿。时间倒回2000年3月10日，纳指走向5049点巅峰，一年时间就实现翻番，然而，伴随着利率走高以及衰退声浪，纳指开启暴跌行情，股指下跌持续两年，其间叠加“911事件”影响，纳斯达克市值跌去5万亿美元，不及巅峰时的四分之一，历时15年才重回泡沫破裂前水平。科技企业多以估值自由落体以及公司清盘倒闭的悲剧收场，据外媒统计，52%的互联网企业在那次危机中破产，大多数公司的市值跌去75%。回忆起上述历史，纽交所交易员安德森（TimothyAnderson）告诉第一财经记者，在泡沫达到顶点直至破裂之前，市场繁荣可以持续数年。“上一轮市场危机以1995年8月网景（Netscape）上市为起点，一直持续至千禧年初，其间市场经历了3~4年的繁荣期，6~12个月的离谱期，最后泡沫才告破裂。不过今天，我们尚未见到一单AI领域的首次公开募股。”安德森提及的网景是一家浏览器公司，该公司于1994年成立，次年就成功上市，发行价为28美元，上市首日最高涨至75美元，收盘市值达27亿美元，要知道，创建于1899年的通用动力（GeneralDynamics）历时43年才达这一市值水平。“网景时刻”和“iPhone时刻”，分别是互联网和移动互联网发展的里程碑事件。然而，1998年11月，网景被美国在线（AOL）收购。而2015年，美国在线也已卖身给了电信企业威瑞森（Verizon）。以史为鉴，一些分析人士开始警告风险。“不得不质疑，我们是否有些操之过急。”嘉盛集团资深市场分析师辛科塔（FionaCincotta）对第一财经记者直言，“当股票涨势过快过猛，自然而然会引发担忧。我们绝对处于炒作时期，2023年的人工智能大热潮转眼就将变成人工智能大泡沫。”辛科塔表示，英伟达高于预期的盈利指引触发芯片股近期狂飙，同时，害怕错失的情绪也成强大动能，推动股价超越其基本价值。她认为，现在需要退后一步，试着了解人们寄予AI的厚望能否兑现。“这是又一波互联网浪潮吗？是iPhone时刻吗？现在下结论恐怕还为时过早，难言上述假设会否变成大量空话。我们应尽快加深对AI的认知，了解其对企业及更广泛经济的益处，这才是技术的意义和价值所在。”辛科塔说。与辛科塔观点不同，安德森对人工智能技术看法积极。“上世纪90年代初，无人能够预测互联网将如何重塑世界，更不用说预判，互联网普及会对微观的企业盈利乃至宏观的经济增长产生何种影响。人工智能革命的潜力与信息技术革命难分伯仲，我毫不怀疑华尔街最聪明的投资人都是这样想的。”安德森说。作为风险投资人、正处两轮科技风暴中心硅谷的陈璧葵表示，一个新兴、快速发展的技术或市场一定存在泡沫，不过他更关注创新的价值和想象空间。“何为颠覆性创新，就是能够显著降低人类行动的门槛。例如，移动电话对传统固话的颠覆，互联网对信息获取方式的颠覆……ChatGPT诞生之后，人类数十年的学习、积累以及上百万的资金投入，这些学习成本直降为电费，就是一项非常伟大革新。”...PC版：https://www.cnbeta.com.tw/articles/soft/1368575.htm手机版：https://m.cnbeta.com.tw/view/1368575.htm