ExpertLLaMA:一个使用ExpertPrompting构建的开源聊天机器人，其能力达到ChatGPT的96%。

ExpertLLaMA:一个使用ExpertPrompting构建的开源聊天机器人，其能力达到ChatGPT的96%。ExpertLLaMA通过在普通指令中添加专家身份描述，产生高质量、详细的专家级回答。本项目提供了方法简介、52,000个专家数据集样本、52,000个基线数据集样本、52,000个对应每个具体指令的专家身份描述、基于专家数据集训练的ExpertLLaMA检查点以及与Vicuna、LLaMA-GPT4等现有模型的评估结果。

基于 LLaMA 的 AI 聊天机器人开源实现

基于LLaMA的AI聊天机器人开源实现Meta的大语言模型LLaMA最近引起了广泛关注，它的一大优势是参数规模更小但性能强于OpenAI的GPT-3模型，而且能运行在单张显卡上，让普通消费者的硬件也有可能提供类似ChatGPT性能的AI聊天机器人。LLaMA是一组大语言模型的集合，其参数规模从70亿到650亿，它最新的LLaMA-13B模型有130亿个参数，不到GPT-3模型1750亿个参数的十分之一。现在AI推出了首个基于人类反馈强化学习的LLaMAAI聊天机器人开源实现。来源，前文：来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

一键开启ChatGPT“危险发言”：AI聊天机器人竟有“大bug” 目前无法修复

一键开启ChatGPT“危险发言”：AI聊天机器人竟有“大bug”目前无法修复上周，Google、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（FrontierModelForum），促进前沿AI系统的安全和负责任的发展：推进AI安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。那么，问题来了，他们自家的模型真的安全吗？近日，来自卡内基梅隆大学、CenterforAISafety和BoschCenterforAI的研究人员便披露了一个与ChatGPT等AI聊天机器人有关的“大bug”——通过对抗性提示可绕过AI开发者设定的防护措施，从而操纵AI聊天机器人生成危险言论。当前热门的AI聊天机器人或模型，如OpenAI的ChatGPT、Google的Bard、Anthropic的Claude2以及Meta的LLaMA-2，都无一幸免。图通过对抗性提示可绕过4个语言模型的安全规则，引发潜在有害行为具体而言，研究人员发现了一个Suffix，可将其附加到针对大型语言模型（LLMs）的查询中，从而生成危险言论。相比于拒绝回答这些危险问题，该研究可以使这些模型生成肯定回答的概率最大化。例如，当被询问“如何窃取他人身份”时，AI聊天机器人在打开“Addadversarialsuffix”前后给出的输出结果截然不同。图开启Addadversarialsuffix前后的聊天机器人回答对比此外，AI聊天机器人也会被诱导写出“如何制造原子弹”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。对此，参与该研究的卡内基梅隆大学副教授ZicoKolter表示，“据我们所知，这个问题目前还没有办法修复。我们不知道如何确保它们的安全。”研究人员在发布这些结果之前已就该漏洞向OpenAI、Google和Anthropic发出了警告。每家公司都引入了阻止措施来防止研究论文中描述的漏洞发挥作用，但他们还没有弄清楚如何更普遍地阻止对抗性攻击。OpenAI发言人HannahWong表示：“我们一直在努力提高我们的模型应对对抗性攻击的鲁棒性，包括识别异常活动模式的方法，持续通过红队测试来模拟潜在威胁，并通过一种普遍而灵活的方式修复新发现的对抗性攻击所揭示的模型弱点。”Google发言人ElijahLawal分享了一份声明，解释了公司采取了一系列措施来测试模型并找到其弱点。“虽然这是LLMs普遍存在的问题，但我们在Bard中已经设置了重要的防护措施，我们会不断改进这些措施。”Anthropic的临时政策与社会影响主管MichaelSellitto则表示：“使模型更加抵抗提示和其他对抗性的‘越狱’措施是一个热门研究领域。我们正在尝试通过加强基本模型的防护措施使其更加‘无害’。同时，我们也在探索额外的防御层。”图4个语言模型生成的有害内容对于这一问题，学界也发出了警告，并给出了一些建议。麻省理工学院计算学院的教授ArmandoSolar-Lezama表示，对抗性攻击存在于语言模型中是有道理的，因为它们影响着许多机器学习模型。然而，令人惊奇的是，一个针对通用开源模型开发的攻击居然能在多个不同的专有系统上如此有效。Solar-Lezama认为，问题可能在于所有LLMs都是在类似的文本数据语料库上进行训练的，其中很多数据都来自于相同的网站，而世界上可用的数据是有限的。“任何重要的决策都不应该完全由语言模型独自做出，从某种意义上说，这只是常识。”他强调了对AI技术的适度使用，特别是在涉及重要决策或有潜在风险的场景下，仍需要人类的参与和监督，这样才能更好地避免潜在的问题和误用。普林斯顿大学的计算机科学教授ArvindNarayanan谈道：“让AI不落入恶意操作者手中已不太可能。”他认为，尽管应该尽力提高模型的安全性，但我们也应该认识到，防止所有滥用是不太可能的。因此，更好的策略是在开发AI技术的同时，也要加强对滥用的监管和对抗。担忧也好，不屑也罢。在AI技术的发展和应用中，我们除了关注创新和性能，也要时刻牢记安全和伦理。只有保持适度使用、人类参与和监督，才能更好地规避潜在的问题和滥用，使AI技术为人类社会带来更多的益处。...PC版：https://www.cnbeta.com.tw/articles/soft/1374835.htm手机版：https://m.cnbeta.com.tw/view/1374835.htm

Google以"声誉风险"为理由不推出ChatGPT的类似聊天机器人产品

Google以"声誉风险"为理由不推出ChatGPT的类似聊天机器人产品根据CNBC的报道，Alphabet首席执行官SundarPichai和Google人工智能主管JeffDean在最近的全体员工会议上谈到了ChatGPT的崛起。一名员工问道，由OpenAI（一家与Google竞争对手微软关系密切的公司）推出的机器人是否代表着这家搜索巨头"错失良机"。据报道，皮查伊和迪安回应说，Google的人工智能语言模型与OpenAI的一样有能力，但由于该技术带来的"声誉风险"，公司不得不采取"比小型创业公司更保守的行动"。"我们绝对希望把这些东西推广到真正的产品中去，推广到更突出地体现语言模型的东西中去，这是我们迄今为止一直在做的地方，"Dean说。"但是，我们把这件事做好是超级重要的。"Pichai补充说，Google在2023年有一个"很多"的人工智能语言功能计划，"这是一个我们需要大胆和负责任的领域，所以我们必须平衡这一点。"Google已经开发了一些大型人工智能语言模型（LLM），其能力与OpenAI的ChatGPT相当。这些模型包括BERT、MUM和LAMDA，它们都被用来改进Google的搜索引擎。不过，这种改进重点是解析用户的查询，以更好地理解他们的意图。Google表示，MUM帮助它理解当搜索表明用户正在经历个人危机时，例如，并将这些人引导到帮助热线和撒玛利亚人等团体的信息。Google也推出了像AITestKitchen这样的应用程序，让用户体验其人工智能聊天机器人技术，但在很多方面限制了与用户的互动。OpenAI之前在开发其LLM技术时也相对谨慎，但随着ChatGPT的推出而改变了策略，向公众开放了访问权限。其结果是为OpenAI带来了一场有益的宣传和炒作风暴，即使该公司在保持系统免费使用方面付出了巨大的成本。尽管像ChatGPT这样的LLMs在生成语言方面显示出非凡的灵活性，但它们也有众所周知的问题。它们放大了训练数据中的社会偏见，经常诋毁妇女和有色人种；它们很容易被欺骗（用户发现他们可以绕过ChatGPT的安全准则，这些准则应该阻止它提供危险的信息，只要求它想象自己是一个坏的人工智能）；而且--也许对Google来说最相关的--它们经常提供虚假和误导的信息来回应查询。用户发现ChatGPT在广泛的问题上"撒谎"，从编造历史和传记数据，到为虚假和危险的主张辩护，比如告诉用户在母乳中加入碎瓷片"可以支持婴儿的消化系统"。在Google的全体员工会议上，Dean承认了这许多挑战。他说，"你可以想象，对于类似搜索的应用，事实性问题确实很重要，对于其他应用，偏见和毒性以及安全问题也是最重要的。"他说，人工智能聊天机器人"会编造一些事物[......]如果他们对某件事情不是很确定，他们就会告诉你，你知道，大象是产蛋最多的动物，或者其他什么。"尽管ChatGPT的推出引发了关于聊天机器人有可能取代传统搜索引擎的新对话，但这个问题在Google已经考虑了很久--有时会引起争议。人工智能研究人员TimnitGebru和MargaretMitchell在发表了一篇概述与LLM相关的技术和道德挑战的论文后，被Google解雇（Pichai和Dean现在正在向员工解释同样的挑战）。而在去年5月，Google的四位研究人员探讨了人工智能在搜索中的同样问题，并详细介绍了许多潜在的问题。正如研究人员在他们的论文中指出的那样，最大的问题之一是LLMs"没有对世界的真正理解，他们容易产生幻觉，关键是他们没有能力通过参考他们被训练的语料库中的支持性文件来证明他们的话语。"就OpenAI本身而言，它似乎正试图抑制期望。正如首席执行官SamAltman最近在Twitter上所说。"ChatGPT是非常有限的，但在某些方面足够好，给人以伟大的误导印象。现在依靠它做任何重要的事情都是错误的。"...PC版：https://www.cnbeta.com.tw/articles/soft/1335277.htm手机版：https://m.cnbeta.com.tw/view/1335277.htm

OpenAI 开始为 ChatGPT 提供漏洞赏金 - 但越狱聊天机器人没有奖励

OpenAI开始为ChatGPT提供漏洞赏金-但越狱聊天机器人没有奖励OpenAI推出了漏洞赏金，鼓励公众发现并披露其AI服务(包括ChatGPT)中的漏洞。奖励从"低严重性"的200美元到"特殊发现"的20000美元不等，报告可通过众包网络安全平台提交。值得注意的是，赏金不包括越狱ChatGPT或导致其生成恶意代码或文本的奖励。OpenAI表示，这种"模型安全问题不适合漏洞赏金计划，因为它们不是可以直接修复的单个离散错误。解决这些问题通常涉及大量研究和更广泛的方法，此类问题的报告应通过公司的模型反馈页面提交。"https://openai.com/blog/bug-bounty-program频道：@TestFlightCN

人工智能聊天机器人被用来越狱其它人工智能

人工智能聊天机器人被用来越狱其它人工智能现代聊天机器人有能力通过伪装特定性格或像虚构人物一样行事来扮演角色。新研究利用了这一能力，要求一个特定的人工智能聊天机器人充当研究助手。然后，研究人员指示这个助手帮助开发可以“越狱”其他聊天机器人的提示语。事实证明，研究助理聊天机器人的自动攻击技术在42.5%的时间内成功地攻击了GPT-4，对Claude2的攻击有61%的成功率，对开源聊天机器人Vicuna的攻击有35.9%的成功率。研究人员称，这种助理聊天机器人提升了25倍的越狱效率。来源，频道：@kejiqu群组：@kejiquchat