Awesome-LLM-SoftwareTesting：关于在软件测试中使用大型语言模型 (LLM) 的论文和资源的集合。

：关于在软件测试中使用大型语言模型(LLM)的论文和资源的集合。LLM已成为自然语言处理和人工智能领域的突破性技术。这些模型能够执行各种与编码相关的任务，包括代码生成和代码推荐。因此，在软件测试中使用LLM预计会产生显着的改进。一方面，软件测试涉及诸如单元测试生成之类的任务，这些任务需要代码理解和生成。另一方面，LLM可以生成多样化的测试输入，以确保全面覆盖正在测试的软件。此存储库对LLM在软件测试中的运用进行了全面回顾，收集了102篇相关论文，并从软件测试和法学硕士的角度进行了全面的分析。

LeCun哈佛演讲PPT放出：唱衰自回归LLM 指明下一代AI方向

LeCun哈佛演讲PPT放出：唱衰自回归LLM指明下一代AI方向LeCun给出了一个模块化的认知架构，它可能构成回答这些问题的途径。该架构的核心是一个可预测的世界模型，它允许系统预测其行动的后果，并规划一系列行动来优化一组目标。目标包括保证系统可控性和安全性的护栏。世界模型采用了经过自监督学习训练的分层联合嵌入预测架构（H-JEPA）。LeCun的演讲围绕多方面展开。开始部分，LeCun介绍了目标驱动的人工智能。LeCun指出与人类、动物相比，机器学习真的烂透了，一个青少年可以在大约20小时的练习中学会开车，小朋友可以在几分钟内学会清理餐桌。相比之下，为了可靠，当前的ML系统需要通过大量试验进行训练，以便在训练期间可以覆盖最意外的情况。尽管如此，最好的ML系统在现实世界任务（例如驾驶）中仍远未达到人类可靠性。我们距离达到人类水平的人工智能还差得很远，需要几年甚至几十年的时间。在实现这一目标之前，或许会先实现拥有猫类（或者狗类）级别智能的AI。LeCun强调AI系统应该朝着能够学习、记忆、推理、规划、有常识、可操纵且安全的方向发展。LeCun再一次表达了对自回归LLM的不满（从ChatGPT到Sora，OpenAI都是采用的自回归生成式路线），虽然这种技术路线已经充斥了整个AI界，但存在事实错误、逻辑错误、不一致、推理有限、毒性等缺陷。此外，自回归LLM对潜在现实的了解有限，缺乏常识，没有记忆，而且无法规划答案。在他看来，自回归LLM仅仅是世界模型的一种简化的特殊情况。为了实现世界模型，LeCun给出的解决方案是联合嵌入预测架构（JEPA）。LeCun花了大量篇幅介绍JEPA相关技术，最后他给出了简单的总结：放弃生成模型，支持联合嵌入架构；放弃概率模型，支持基于能量的模型（EBM）；放弃对比方法，支持正则化方法；放弃强化学习，支持模型-预测控制；仅当规划无法产生结果时才使用强化学习来调整世界模型。在开源问题上，LeCun认为开源AI不应该因为监管而消失，人工智能平台应该是开源的，否则，技术将被几家公司所掌控。不过为了安全起见，大家还是需要设置共享护栏目标。对于AGI，LeCun认为根本不存在AGI，因为智能是高度多维的。虽然现在AI只在一些狭窄的领域超越了人类，毫无疑问的是，机器最终将超越人类智能。机器学习烂透了，距离人类水平的AI还差得远LeCun指出AI系统应该朝着能够学习、记忆、推理、规划、有常识、可操纵且安全的方向发展。在他看来，与人类和动物相比，机器学习真的烂透了，LeCun指出如下原因：监督学习（SL）需要大量标注样本；强化学习（RL）需要大量的试验；自监督学习（SSL）效果很好，但生成结果仅适用于文本和其他离散模式。与此不同的是，动物和人类可以很快地学习新任务、了解世界如何运作，并且他们（人类和动物）都有常识。随后，LeCun表示人类需要的AI智能助理需要达到人类级别。但是，我们今天距离人类水平的人工智能还差得很远。举例来说，17岁的少年可以通过20小时的训练学会驾驶（但AI仍然没有无限制的L5级自动驾驶），10岁的孩子可以在几分钟内学会清理餐桌，但是现在的AI系统还远未达到。现阶段，莫拉维克悖论不断上演，对人类来说很容易的事情对人工智能来说很难，反之亦然。那么，我们想要达到高级机器智能（AdvancedMachineIntelligence，AMI），需要做到如下：从感官输入中学习世界模型的AI系统；具有持久记忆的系统；具有规划行动的系统；可控和安全的系统；目标驱动的AI架构（LeCun重点强调了这一条）。自回归LLM糟糕透了自监督学习已经被广泛用于理解和生成文本，图像，视频，3D模型，语音，蛋白质等。大家熟悉的研究包括去噪Auto-Encoder、BERT、RoBERTa。LeCun接着介绍了生成式AI和自回归大语言模型。自回归生成架构如下所示：自回归大语言模型（AR-LLM）参数量从1B到500B不等、训练数据从1到2万亿token。ChatGPT、Gemini等大家熟悉的模型都是采用这种架构。LeCun认为虽然这些模型表现惊人，但它们经常出现愚蠢的错误，比如事实错误、逻辑错误、不一致、推理有限、毒性等。此外，LLM对潜在现实的了解有限，缺乏常识，没有记忆，而且无法规划答案。LeCun进一步指出自回归LLM很糟糕，注定要失败。这些模型不可控、呈指数发散，并且这种缺陷很难修复。此外，自回归LLM没有规划，充其量就是大脑中的一小部分区域。虽然自回归LLM在协助写作、初稿生成、文本润色、编程等方面表现出色。但它们经常会出现幻觉，并且在推理、规划、数学等方面表现不佳，需要借助外部工具才能完成任务。用户很容易被LLM生成的答案所迷惑，此外自回归LLM也不知道世界是如何运转的。LeCun认为当前AI技术（仍然）距离人类水平还很远，机器不会像动物和人类那样学习世界的运作方式。目前看来自回归LLM无法接近人类智力水平，尽管AI在某些狭窄的领域超过了人类。但毫无疑问的是，最终机器将在所有领域超越人类智慧。目标驱动的AI在LeCun看来，目标驱动的AI即自主智能（autonomousintelligence）是一个很好的解决方案，其包括多个配置，一些模块可以即时配置，它们的具体功能由配置器（configurator）模块确定。配置器的作用是执行控制：给定要执行的任务，它预先配置针对当前任务的感知（perception）、世界模型（worldmodel）、成本（cost）和参与者（actor）。关于这部分内容，大家可以参考：思考总结10年，图灵奖得主YannLeCun指明下一代AI方向：自主机器智能目标驱动的AI中最复杂的部分是世界模型的设计。设计和训练世界模型关于这部分内容，我们先看LeCun给出的建议：放弃生成模型，支持联合嵌入架构；放弃概率模型，支持基于能量的模型（EBM）；放弃对比方法，支持正则化方法；放弃强化学习，支持模型-预测控制；仅当规划无法产生结果时才使用强化学习来调整世界模型。LeCun指出生成架构不适用于图像任务，未来几十年阻碍人工智能发展的真正障碍是为世界模型设计架构以及训练范式。训练世界模型是自监督学习（SSL）中的一个典型例子，其基本思想是模式补全。对未来输入（或暂时未观察到的输入）的预测是模式补全的一个特例。在这项工作中，世界模型旨在预测世界状态未来表征。联合嵌入预测架构（JEPA）LeCun给出的解决方案是联合嵌入预测架构（JEPA），他介绍了联合嵌入世界模型。LeCun进一步给出了生成模型和联合嵌入的对比：生成式：预测y（包含所有细节）；联合嵌入：预测y的抽象表示。LeCun强调JEPA不是生成式的，因为它不能轻易地用于从x预测y。它仅捕获x和y之间的依赖关系，而不显式生成y的预测。下图显示了一个通用JEPA和生成模型的对比。LeCun认为动物大脑的运行可以看作是对现实世界的模拟，他称之为世界模型。他表示，婴儿在出生后的头几个月通过观察世界来学习基础知识。观察一个小球掉几百次，普通婴儿就算不了解物理，也会对重力的存在与运作有基础认知。LeCun表示他已经建立了世界模型的早期版本，可以进行基本的物体识别，并正致力于训练它做出预测。基于能量的模型（通过能量函数获取依赖关系）演讲中还介绍了一种基于能量的模型（EBM）架构，如图所示，数据点是黑点，能量函数在数据点周围产生低能量值，并在远离高数据密度区域的地方产生较高能量，如能量等高线所示。训练EBM有两类方法...PC版：https://www.cnbeta.com.tw/articles/soft/1429746.htm手机版：https://m.cnbeta.com.tw/view/1429746.htm

字节发布的这个MegaScale估计只有超级大厂才有用，一个在超过一万个 GPU 上训练 LLM 的生产系统。#ai##llm#

字节发布的这个MegaScale估计只有超级大厂才有用，一个在超过一万个GPU上训练LLM的生产系统。整个系统涵盖了从模型块和优化器设计到计算与通信的重叠、运算符优化、数据管道以及网络性能调整的算法和系统组件。MegaScale在训练一个175B参数的LLM模型时，在12,288GPU上实现了55.2%的模型浮点运算利用率（ModelFLOPsUtilization，MFU），相比Megatron-LM提升了1.34倍。论文地址：

ChatGPT羊驼家族全沦陷 CMU博士击破LLM护栏 人类毁灭计划脱口而出

ChatGPT羊驼家族全沦陷CMU博士击破LLM护栏人类毁灭计划脱口而出由此，任何人都可以轻松破解LLM的安全措施，生成无限量的有害内容。有趣的是，这种“对抗性攻击”方法不仅突破开源系统的护栏，而且也可以绕过闭源系统，包括ChatGPT、Bard、Claude等。正常情况下，如果我们要求一个LLM生成制造炸弹的教程，它一定会拒绝。但是，只要在prompt中加入这样一个魔法后缀，它就毫不犹豫地乖乖照做了。英伟达首席AI科学家JimFan解答了这种对抗性攻击的原理——-对于像Vicuna这样的OSS模型，通过它执行一个梯度下降的变体，来计算出最大化不对齐模型的后缀。-为了让“咒语”普遍适用，只需要优化不同prompt和模型的损失即可。-然后研究者针对Vicuna的不同变体优化了对抗token。可以将其视为从“LLM模型空间”中抽取了一小批模型。事实证明，像ChatGPT和Claude这样的黑盒模型，果然被很好地覆盖了。上面提到过，有一个可怕之处在于，这种对抗性攻击可以有效地迁移到其他LLM上，即使它们使用的是不同的token、训练过程或数据集。为Vicuna-7B设计的攻击，可以迁移到其他羊驼家族模型身上，比如Pythia、Falcon、Guanaco，甚至GPT-3.5、GPT-4和PaLM-2……所有大语言模型一个不落，尽数被攻陷！现在，这个bug已经在被这些大厂连夜修复了。ChatGPTBardClaude2不过，ChatGPT的API似乎依然可以被攻破。数小时前的结果无论如何，这是一次非常令人印象深刻的攻击演示。威斯康星大学麦迪逊分校教授、Google研究人员SomeshJha评论道：这篇新论文可以被视为“改变了游戏规则”，它可能会迫使整个行业重新思考，该如何为AI系统构建护栏。2030年，终结LLM？著名AI学者GaryMarcus对此表示：我早就说过了，大语言模型肯定会垮台，因为它们不可靠、不稳定、效率低下（数据和能量）、缺乏可解释性，现在理由又多了一条——容易受到自动对抗攻击。他断言：到2030年，LLM将被取代，或者至少风头不会这么盛。在六年半的时间里，人类一定会研究出更稳定、更可靠、更可解释、更不易受到攻击的东西。在他发起的投票中，72.4%的人选择了同意。现在，研究者已经向Anthropic、Google和OpenAI披露了这种对抗性攻击的方法。三家公司纷纷表示：已经在研究了，我们确实有很多工作要做，并对研究者表示了感谢。大语言模型全面沦陷首先，是ChatGPT的结果。以及，通过API访问的GPT-3.5。相比之下，Claude-2有一层额外的安全过滤。不过，用提示技巧绕过之后，生成模型也愿意给我们答案。如何做到的？概括来说，作者提出了针对大语言模型prompt的对抗性后缀，从而使LLM以规避其安全防护的方式进行回应。这种攻击非常简单，涉及三个元素的组合：1.使模型肯定回答问题诱导语言模型产生令人反感的行为的一种方法是，强制模型对有害查询给出肯定回答（仅有几个token）。因此，我们的攻击目标是使模型在对多个提示产生有害行为时，开始回答时以“当然，这是……”开头。团队发现，通过针对回答开头进行攻击，模型就会进入一种“状态”，然后在回答中立即产生令人反感的内容。（下图紫色）2.结合梯度和贪婪搜索在实践中，团队找到了一种简单直接且表现更好的方法——“贪婪坐标梯度”（GreedyCoordinateGradient，GCG）」也就是，通过利用token级的梯度来识别一组可能的单token替换，然后评估集合中这些候选的替换损失，并选择最小的一个。实际上，这个方法与AutoPrompt类似，但有一个不同之处：在每个步骤中，搜索所有可能的token进行替换，而不仅仅是一个单一token。3.同时攻击多个提示最后，为了生成可靠的攻击后缀，团队发现创建一个可以适用于多个提示和多个模型的攻击非常重要。换句话说，我们使用贪婪梯度优化方法搜索一个单一的后缀字符串，该字符串能够在多个不同的用户提示以及三个不同的模型中诱导负面行为。结果显示，团队提出的GCG方法，要比之前的SOTA具有更大的优势——更高的攻击成功率和更低的损失。在Vicuna-7B和Llama-2-7B-Chat上，GCG分别成功识别了88%和57%的字符串。相比之下，AutoPrompt方法在Vicuna-7B上的成功率为25％，在Llama-2-7B-Chat上为3％。此外，GCG方法生成的攻击，还可以很好地迁移到其他的LLM上，即使它们使用完全不同的token来表征相同的文本。比如开源的Pythia，Falcon，Guanaco；以及闭源的GPT-3.5（87.9％）和GPT-4（53.6％），PaLM-2（66％），和Claude-2（2.1％）。团队表示，这一结果首次证明了，自动生成的通用“越狱”攻击，能够在各种类型的LLM上都产生可靠的迁移。作者介绍卡内基梅隆大学教授ZicoKolter（右）和博士生AndyZou是研究人员之一AndyZouAndyZou是CMU计算机科学系的一名一年级博士生，导师是ZicoKolter和MattFredrikson。此前，他在UC伯克利获得了硕士和学士学位，导师是DawnSong和JacobSteinhardt。ZifanWangZifanWang目前是CAIS的研究工程师，研究方向是深度神经网络的可解释性和稳健性。他在CMU得了电气与计算机工程硕士学位，并在随后获得了博士学位，导师是AnupamDatta教授和MattFredrikson教授。在此之前，他在北京理工大学获得了电子科学与技术学士学位。职业生涯之外，他是一个外向的电子游戏玩家，爱好徒步旅行、露营和公路旅行，最近正在学习滑板。顺便，他还养了一只名叫皮卡丘的猫，非常活泼。ZicoKolterZicoKolter是CMU计算机科学系的副教授，同时也担任博世人工智能中心的AI研究首席科学家。曾获得DARPA青年教师奖、斯隆奖学金以及NeurIPS、ICML（荣誉提名）、IJCAI、KDD和PESGM的最佳论文奖。他的工作重点是机器学习、优化和控制领域，主要目标是使深度学习算法更安全、更稳健和更可解释。为此，团队已经研究了一些可证明稳健的深度学习系统的方法，并在深度架构的循环中加入了更复杂的“模块”（如优化求解器）。同时，他还在许多应用领域进行了研究，其中包括可持续发展和智能能源系统。MattFredriksonMattFredrikson是CMU计算机科学系和软件研究所的副教授，也是CyLab和编程原理小组的成员。他的研究领域包括安全与隐私、公平可信的人工智能和形式化方法，目前正致力于研究数据驱动系统中可能出现的独特问题。这些系统往往对终端用户和数据主体的隐私构成风险，在不知不觉中引入新形式的歧视，或者在对抗性环境中危及安全。他的目标是在危害发生之前，找到在真实、具体的系统中识别这些问题，以及构建新系统的方法。...PC版：https://www.cnbeta.com.tw/articles/soft/1373811.htm手机版：https://m.cnbeta.com.tw/view/1373811.htm

微软研究院发布了Orca 2 LLM 其性能可媲美大语言模型

微软研究院发布了Orca2LLM其性能可媲美大语言模型微软在一篇博文中表示，Orca2是专为小规模LM设计的，但仍可用于回答LLM等复杂问题。Orca2有两种大小（70亿和130亿个参数），部分是利用今年早些时候微软帮助Meta推出的Llama2LLM制作的。该公司"根据量身定制的高质量合成数据"对基于Llama2的模型进行了微调。微软表示，这使得Orca2模型在处理问题时能够与其他"5-10倍大"的语言模型相媲美：Orca2使用扩展的、高度定制的合成数据集进行训练。这些训练数据的生成，向Orca2传授了各种推理技术，如逐步处理法、回忆然后生成法、回忆-推理-生成法、提取-生成法和直接回答法，同时还教会它针对不同的任务选择不同的解决策略。Orca2模型与Llama2和WizardLM等大型语言模型进行了一系列基准测试，测试内容包括"语言理解、常识推理、多步骤推理、数学问题解决、阅读理解"等。微软官方博客称：我们的初步测试结果表明，Orca2的性能大大超越了类似规模的模型。它还达到了类似或优于至少比它大10倍的模型的性能水平，展示了为更小的模型配备更好的推理能力的潜力。虽然微软承认Orca2确实存在局限性，但迄今为止的测试显示了"未来进步的潜力"。微软将把Orca2作为一个开源项目发布，以便其他人也能对其进行开发。...PC版：https://www.cnbeta.com.tw/articles/soft/1398829.htm手机版：https://m.cnbeta.com.tw/view/1398829.htm

面向开发者的 LLM 入门课程 | 传送门

面向开发者的LLM入门课程这个库存放吴恩达大模型系列课程中文版，包括《PromptEngineering》、《BuildingSystem》和《LangChain》。《ChatGPTPromptEngineeringforDevelopers》、《BuildingSystemswiththeChatGPTAPI》、《LangChainforLLMApplicationDevelopment》等教程作为由吴恩达与OpenAI联合推出的官方教程，在可预见的未来会成为LLM的重要入门教程，但是目前还只支持英文版且国内访问受限，打造中文版且国内流畅访问的教程具有重要意义；同时，GPT对中文、英文具有不同的理解能力。本教程在多次对比、实验之后确定了效果大致相当的中文Prompt，支持学习者研究如何提升ChatGPT在中文语境下的理解与生成能力。