开源聊天机器人在质量评估上能达到 ChatGPT 的九成

加州伯克利、斯坦福、卡内基梅隆和加州圣迭戈的研究团队宣布了开源聊天机器人Vicuna-13B，它是基于Meta的大语言模型LLaMA，使用了用户通过ShareGPT分享的7万对话样本进行微调。研究人员让OpenAI的GPT-4作为裁判去对比Vicuna-13B以及ChatGPT和GoogleBard，结果显示它在质量评估中能达到ChatGPT的九成左右。Vicuna-13B的训练成本只花了300美元。Vicuna-13B的代码使用ApacheLicense2.0许可证，研究人员计划释出其模型权重。https://chat.lmsys.org/https://vicuna.lmsys.org/投稿：@ZaiHuabot频道：@TestFlightCN

数学能力超ChatGPT 70B开源大模型火了

数学能力超ChatGPT70B开源大模型火了并且是在参数只有700亿，远不及后三者的情况之下。HuggingFace已上线3个在线可玩版本（分别为7B、13B和70B参数），各种数学题可以直接丢进去试一试。比如解决下面这道四次多项式方程：或者是一道简单的微积分：亦或者是稍微修改过的拉格朗日方程推导：它都全部正确（过程也不需要等太久）。有网友向作者表示：效果真的很惊人，感谢你们对开源LLM的贡献。目前，相关代码、复现方式以及论文也都开源或上线，GitHub短短几天已揽获4.8k标星。那么，WizardMath究竟是如何做到的？用AI生成的指令增强大模型能力OpenAI的大模型（InstructGPT、GPT-4等）能够取得巨大成功、去执行各种复杂和多样化的任务，一部分原因是使用了真实人类用户生成的开放域指令数据进行了微调。然而，不是谁都能像这家公司一样获得这样的指令数据集。一是因为整个注释过程极其昂贵且耗时，二是人工难以创建出足够比例的高难度指令。因此，开发出一种成本相对较低的、大规模开放域指令自动生产方法，成为当下指令调优语言模型的关键。在此，作者将他们的方法命名为EvolInstruction。它是一种利用AI来代替人类自动生成涵盖各种难度级别开放域指令的新方法。具体而言，EvolInstruction分为指令进化器和指令消除器。其中指令进化器可通过深度进化（蓝线）或广度进化（红线）两种路径，将简单指令升级为更复杂的指令或创建一条全新指令。具体执行哪一条？随机选择就好。其中，深度进化的具体“进化法”，则是通过五种类型的操作来完成，包括：添加约束（addconstraints）、深化（deepening）、具体化（concretizing）、增加推理步骤（increasereasoningsteps）和使输入复杂化（complicateinput）。由于所有指令均由AI完成，有时难免会出现错误。因此，指令消除器就是用于过滤失败指令的。以下是一个具体示例，该方法从“1+1=？”开始，最终通过以上步骤自动生成了相当多的新指令。通过重复这一生成过程，最终我们就能得到足够多的指令，然后将它们合并并随机打乱，组成一个难度级别均匀分布的指令集，就可以对基础大模型进行微调了。在此，作者选择Alpaca的训练数据（仅由175条人工创建的种子指令生成）作为初始数据集，然后使用ChatGPT的API执行了四个进化周期，最终获得25万条指令。为了与Vicuna的70k真实用户数据（ShareGPT）进行公平比较，作者从这25万条数据中抽取了等量的样本，训练LLaMA7B模型，最终得到WizardLM，结果WizardLM的性能明显优于Vicuna。（Alpaca：斯坦福在LLaMa-7B基础上微调出来的模型；Vicuna，UC伯克利在LLaMa-13B的基础上微调得来）此外，在更为复杂的测试指令下，人类更喜欢WizardLM的输出，而非ChatGPT，这表明该方法可以显着提高LLM处理复杂指令的能力。基于此，作者又利用EvolInstruction生成了很多数学领域相关的指令，然后微调羊驼大模型，得到了WizardMath。其效果如开头所示，在GSM8k数据集上测得其数学能力超越包括ChatGPT、ClaudeInstant1、PaLM2-540B等一众大模型，位列第5名，仅次于GPT-4、Claud1.3和2.0，以及5400亿参数的Flan-PaLM2之后。以此类推，作者还在羊驼之上得到了专攻代码能力的WizardCoder，效果超越Claude和Bard（详情可戳文末地址）。团队介绍本文共9位作者，全华人。一作有3位：CanXu，微软亚洲互联网工程院S+DNLP组高级应用科学家，之前曾在微软小冰研究组和微软亚研院从事聊天机器人系统工作；QingfengSun，MicrosoftResearch科学家，研究方向为自然语言处理和信息检索，精通构建高效搜索系统，为MicrosoftBing和Office365贡献了核心深度模型；KaiZheng，MicrosoftResearch科学家，研究方向为自然语言处理、搜索和推荐排名，同样为MicrosoftBing和Office365贡献了核心深度模型。通讯作者为姜大昕，微软全球合伙人、副总裁、前微软亚洲研究院首席科学家，在微软工作16年有余、曾作为微软必应搜索引擎和Cortana智能助手自然语言理解负责人，日前已被曝离职投身大模型创业。另还有一位作者JiazhanFeng，是北大学生，这篇合著论文是TA在微软实习时产出的。项目主页：https://github.com/nlpxucan/WizardLM/tree/main/WizardMath...PC版：https://www.cnbeta.com.tw/articles/soft/1376959.htm手机版：https://m.cnbeta.com.tw/view/1376959.htm

【Binance推出基于ChatGPT的聊天机器人】

【Binance推出基于ChatGPT的聊天机器人】2023年04月24日08点07分老不正经报道，加密货币交易所Binance推出了Sensei聊天机器人的测试版，作为BinanceAcademy教育平台的一部分。根据新闻稿，BinanceSensei基于ChatGPT。该公司表示，它在每个阶段都扮演着培训助手的角色。该助手接受了币安学院1,000多篇文章和词汇表的培训。Chatbot警告称，答案是按原样提供的，仅提供一般信息，不保证完整性或准确性。

英国官员警告谨慎使用AI驱动的聊天机器人

英国官员警告谨慎使用AI驱动的聊天机器人英国官员警告各公司谨慎将人工智能驱动的聊天机器人整合到业务中，称越来越多的研究显示它们可能会被用于执行有害任务。路透社报道，英国国家网络安全中心（NCSC）星期三（8月30日）发布的博客文章中说，专家们尚未完全掌握与生成类似人类响应的算法相关的潜在安全问题，这些算法被称为大语言模型。这些AI驱动的工具被用作聊天机器人，不仅可以替代互联网搜索，还可以替代客服和销售电话。各国当局正在应对大语言模型的崛起，例如ChatGPT，企业正在将其整合到各种服务中，包括销售和客户服务。NCSC说，这可能带来风险，特别是如果这些模型被插入到公司的业务流程中。学者和研究人员发现了通过向聊天机器人输入恶意指令或欺骗它们绕过内置防护措施的方法。例如，如果黑客成功更改了它的询问，一家银行的AI驱动的聊天机器人可能会被欺骗进行未经授权的交易。NCSC说：“使用大语言模型构建服务系统的组织需要谨慎，就像使用测试版产品或代码库一样。他们可能不会允许该产品代表客户进行交易，而且不会完全信任它。”

基于 LLaMA 的 AI 聊天机器人开源实现

基于LLaMA的AI聊天机器人开源实现Meta的大语言模型LLaMA最近引起了广泛关注，它的一大优势是参数规模更小但性能强于OpenAI的GPT-3模型，而且能运行在单张显卡上，让普通消费者的硬件也有可能提供类似ChatGPT性能的AI聊天机器人。LLaMA是一组大语言模型的集合，其参数规模从70亿到650亿，它最新的LLaMA-13B模型有130亿个参数，不到GPT-3模型1750亿个参数的十分之一。现在AI推出了首个基于人类反馈强化学习的LLaMAAI聊天机器人开源实现。来源，前文：来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot