【Ripple CTO：ChatGPT 的答案只是看起来正确】

【RippleCTO：ChatGPT的答案只是看起来正确】Ripple首席技术官DavidSchwartz在社交媒体上发文称，人工智能驱动的聊天机器人ChatGPT和生成式AI程序背后的类似大型语言模型(LLM)提供了不真实的答案，这些答案只是看起来正确，他认为ChatGPT的工作是为用户提供看起来与此类问题通常获得的输出尽可能相似的输出。在与现实世界中的实际事物相对应的意义上，是否真的“真实”根本不是一个考虑因素。此前著名律师史蒂夫弗拉德克(SteveVladeck)分享了ChatGPT生成伪造法庭案件文件的例子并建议永远不要使用ChatGPT或类似工具进行法律研究。

分析师称苹果公司专注于本地AI模型和授权LLM可能是一个制胜组合

分析师称苹果公司专注于本地AI模型和授权LLM可能是一个制胜组合根据摩根大通的一份说明，苹果在开发小型本地机型的同时，可能会与一家LLM提供商合作，这可能会帮助苹果领先于其他制造商。如果报道属实，苹果将专注于自己的强项，如设备上的处理，而不是建立专有的LLM。最近有报道称，苹果公司正在与Google洽谈授权其GeminiLLM用于iPhone的事宜。就在该报道发布的前一天，苹果公司发表了一篇关于MM1的研究论文，MM1是一种较小的预训练模型，可以在用户的iPhone上本地运行。摩根大通的报道表明，苹果公司双管齐下的做法可能会让它占得先机。苹果可以专注于保护用户隐私的小型设备模型，而不是发布依赖于网络数据的有争议的LLM，客户将获得两者的最佳利益。如果这听起来很熟悉，那么它很像苹果与Google达成的搜索协议。Google将成为默认的网络搜索引擎，而苹果则提供一个名为Spotlight的强大而私密的本地搜索工具。更多的证据证实了苹果公司的计划，有消息称苹果公司内部有一款名为Ask的工具，可以在本地知识数据库中进行训练。它比LLM更具适应性，能灵活应对数据库的变化，而MM1模型应能胜任这些工作。该报告重点介绍了苹果公司采用这种方法取得的财务成功，认为这种方法节省了基础设施建设成本，并为消费者带来了更好的应用体验。摩根大通维持对苹果的增持评级，目标价为215美元。...PC版：https://www.cnbeta.com.tw/articles/soft/1424330.htm手机版：https://m.cnbeta.com.tw/view/1424330.htm

ChatGPT羊驼家族全沦陷 CMU博士击破LLM护栏 人类毁灭计划脱口而出

ChatGPT羊驼家族全沦陷CMU博士击破LLM护栏人类毁灭计划脱口而出由此，任何人都可以轻松破解LLM的安全措施，生成无限量的有害内容。有趣的是，这种“对抗性攻击”方法不仅突破开源系统的护栏，而且也可以绕过闭源系统，包括ChatGPT、Bard、Claude等。正常情况下，如果我们要求一个LLM生成制造炸弹的教程，它一定会拒绝。但是，只要在prompt中加入这样一个魔法后缀，它就毫不犹豫地乖乖照做了。英伟达首席AI科学家JimFan解答了这种对抗性攻击的原理——-对于像Vicuna这样的OSS模型，通过它执行一个梯度下降的变体，来计算出最大化不对齐模型的后缀。-为了让“咒语”普遍适用，只需要优化不同prompt和模型的损失即可。-然后研究者针对Vicuna的不同变体优化了对抗token。可以将其视为从“LLM模型空间”中抽取了一小批模型。事实证明，像ChatGPT和Claude这样的黑盒模型，果然被很好地覆盖了。上面提到过，有一个可怕之处在于，这种对抗性攻击可以有效地迁移到其他LLM上，即使它们使用的是不同的token、训练过程或数据集。为Vicuna-7B设计的攻击，可以迁移到其他羊驼家族模型身上，比如Pythia、Falcon、Guanaco，甚至GPT-3.5、GPT-4和PaLM-2……所有大语言模型一个不落，尽数被攻陷！现在，这个bug已经在被这些大厂连夜修复了。ChatGPTBardClaude2不过，ChatGPT的API似乎依然可以被攻破。数小时前的结果无论如何，这是一次非常令人印象深刻的攻击演示。威斯康星大学麦迪逊分校教授、Google研究人员SomeshJha评论道：这篇新论文可以被视为“改变了游戏规则”，它可能会迫使整个行业重新思考，该如何为AI系统构建护栏。2030年，终结LLM？著名AI学者GaryMarcus对此表示：我早就说过了，大语言模型肯定会垮台，因为它们不可靠、不稳定、效率低下（数据和能量）、缺乏可解释性，现在理由又多了一条——容易受到自动对抗攻击。他断言：到2030年，LLM将被取代，或者至少风头不会这么盛。在六年半的时间里，人类一定会研究出更稳定、更可靠、更可解释、更不易受到攻击的东西。在他发起的投票中，72.4%的人选择了同意。现在，研究者已经向Anthropic、Google和OpenAI披露了这种对抗性攻击的方法。三家公司纷纷表示：已经在研究了，我们确实有很多工作要做，并对研究者表示了感谢。大语言模型全面沦陷首先，是ChatGPT的结果。以及，通过API访问的GPT-3.5。相比之下，Claude-2有一层额外的安全过滤。不过，用提示技巧绕过之后，生成模型也愿意给我们答案。如何做到的？概括来说，作者提出了针对大语言模型prompt的对抗性后缀，从而使LLM以规避其安全防护的方式进行回应。这种攻击非常简单，涉及三个元素的组合：1.使模型肯定回答问题诱导语言模型产生令人反感的行为的一种方法是，强制模型对有害查询给出肯定回答（仅有几个token）。因此，我们的攻击目标是使模型在对多个提示产生有害行为时，开始回答时以“当然，这是……”开头。团队发现，通过针对回答开头进行攻击，模型就会进入一种“状态”，然后在回答中立即产生令人反感的内容。（下图紫色）2.结合梯度和贪婪搜索在实践中，团队找到了一种简单直接且表现更好的方法——“贪婪坐标梯度”（GreedyCoordinateGradient，GCG）」也就是，通过利用token级的梯度来识别一组可能的单token替换，然后评估集合中这些候选的替换损失，并选择最小的一个。实际上，这个方法与AutoPrompt类似，但有一个不同之处：在每个步骤中，搜索所有可能的token进行替换，而不仅仅是一个单一token。3.同时攻击多个提示最后，为了生成可靠的攻击后缀，团队发现创建一个可以适用于多个提示和多个模型的攻击非常重要。换句话说，我们使用贪婪梯度优化方法搜索一个单一的后缀字符串，该字符串能够在多个不同的用户提示以及三个不同的模型中诱导负面行为。结果显示，团队提出的GCG方法，要比之前的SOTA具有更大的优势——更高的攻击成功率和更低的损失。在Vicuna-7B和Llama-2-7B-Chat上，GCG分别成功识别了88%和57%的字符串。相比之下，AutoPrompt方法在Vicuna-7B上的成功率为25％，在Llama-2-7B-Chat上为3％。此外，GCG方法生成的攻击，还可以很好地迁移到其他的LLM上，即使它们使用完全不同的token来表征相同的文本。比如开源的Pythia，Falcon，Guanaco；以及闭源的GPT-3.5（87.9％）和GPT-4（53.6％），PaLM-2（66％），和Claude-2（2.1％）。团队表示，这一结果首次证明了，自动生成的通用“越狱”攻击，能够在各种类型的LLM上都产生可靠的迁移。作者介绍卡内基梅隆大学教授ZicoKolter（右）和博士生AndyZou是研究人员之一AndyZouAndyZou是CMU计算机科学系的一名一年级博士生，导师是ZicoKolter和MattFredrikson。此前，他在UC伯克利获得了硕士和学士学位，导师是DawnSong和JacobSteinhardt。ZifanWangZifanWang目前是CAIS的研究工程师，研究方向是深度神经网络的可解释性和稳健性。他在CMU得了电气与计算机工程硕士学位，并在随后获得了博士学位，导师是AnupamDatta教授和MattFredrikson教授。在此之前，他在北京理工大学获得了电子科学与技术学士学位。职业生涯之外，他是一个外向的电子游戏玩家，爱好徒步旅行、露营和公路旅行，最近正在学习滑板。顺便，他还养了一只名叫皮卡丘的猫，非常活泼。ZicoKolterZicoKolter是CMU计算机科学系的副教授，同时也担任博世人工智能中心的AI研究首席科学家。曾获得DARPA青年教师奖、斯隆奖学金以及NeurIPS、ICML（荣誉提名）、IJCAI、KDD和PESGM的最佳论文奖。他的工作重点是机器学习、优化和控制领域，主要目标是使深度学习算法更安全、更稳健和更可解释。为此，团队已经研究了一些可证明稳健的深度学习系统的方法，并在深度架构的循环中加入了更复杂的“模块”（如优化求解器）。同时，他还在许多应用领域进行了研究，其中包括可持续发展和智能能源系统。MattFredriksonMattFredrikson是CMU计算机科学系和软件研究所的副教授，也是CyLab和编程原理小组的成员。他的研究领域包括安全与隐私、公平可信的人工智能和形式化方法，目前正致力于研究数据驱动系统中可能出现的独特问题。这些系统往往对终端用户和数据主体的隐私构成风险，在不知不觉中引入新形式的歧视，或者在对抗性环境中危及安全。他的目标是在危害发生之前，找到在真实、具体的系统中识别这些问题，以及构建新系统的方法。...PC版：https://www.cnbeta.com.tw/articles/soft/1373811.htm手机版：https://m.cnbeta.com.tw/view/1373811.htm

ChatGPT现在实时交互型的数据分析能力非常好用，能节省很多数据处理和图表设计的时间，但是因为ChatGPT默认的代码解释器环

ChatGPT现在实时交互型的数据分析能力非常好用，能节省很多数据处理和图表设计的时间，但是因为ChatGPT默认的代码解释器环境缺乏中文字体，所以图表内的中文是无法正常展示的。但我发现了一个无人知晓的小秘密，你可以通过自己上传字体文件的方式解决这个问题。当然，你可以制作一个GPTs，通过在Knowledge中上传字体文件，去标准化地解决这个重复问题（Knowledge可不只是用于RAG的知识库这一作用）。「数据分析专家」GPTs：https://chatgpt.com/g/g-5kZhsn9mY-shu-ju-fen-xi-da-shi-ke-sheng-cheng-zhong-wen-tu-biao

现在做基于Embedding的文档问答已经不是什么新鲜事，但是这个视频还是值得一看，主要是他介绍了几种不同的生成问答结果的方式：

现在做基于Embedding的文档问答已经不是什么新鲜事，但是这个视频还是值得一看，主要是他介绍了几种不同的生成问答结果的方式：1.Stuff，我们熟知的把找到的文档块和问题一起扔给LLM总结2.Map_reduce，对每一个文档块和问题分别人给LLM，最后把所有结果一起摘要，适用于文档类型不同，或者找到的文档太多的情况，可以并行处理3.Refine和Map_reduce类似，只是它是线性的，第一个回答完，将第一个得到的内容和第二个文档块还有问题一起给LLM，所以没法并行处理4.Map_rereank也和前面两个类似，但是它也是每个文档块去独立拿结果，但同时让LLM打分，最后根据打分情况来选分数最高的。这个的关键在于LLM能对结果打分。BTW：这个LangChain的系列字幕翻译进度很慢，是因为主讲的这哥们讲课水平比起Isa姐姐水平差太多，很多问题讲不清楚，如果按照字面意思翻译很难看懂，所以需要在翻译时帮助改写或者补充很多信息基于LangChain的大语言模型应用开发5——基于文档的问答LangChainforLLMApplicationDevelopment基于LangChain的大语言模型应用开发第5集QuestionandAnsweroverDocuments基于文档的问答频道：@chiguadashen

【Dune 发布大语言模型路线图，查询解释功能已集成 ChatGPT4】

【Dune发布大语言模型路线图，查询解释功能已集成ChatGPT4】2023年04月02日12点44分4月2日消息，区块链分析平台Dune在社区中发布大语言模型（LLM）路线图，现已推出第一个LLM功能，并为用户准备全套LLM功能与集成。Dune已发布查询解释（QueryExplanations），并集成ChatGPT4，用户可以点击一个按钮来显示任何查询的自然语言解释，简化SQL查询。Dune还通过LLM帮助用户过渡到DuneSQL。同时，Dune支持使用LLM进行自然语言查询，用户可使用英语提出问题并查询Dune数据集，而无需任何SQL知识。此外，Dune还致力于研究解决如何在Dune.com上超过70万张表与视图中选择正确的表的新方法；计划使用LLM优化搜索与筛选；发布聊天机器人，帮助用户快速浏览Spellbook与DuneDocs知识库。