为确保 Bard 能给出高质量答案，谷歌员工对其进行单条式的评估、修正训练.

为确保Bard能给出高质量答案，谷歌员工对其进行单条式的评估、修正训练.不久前，谷歌在内部发起了代号为“斗狗”的活动，要求公司所有员工每周用两到四个小时帮助测试和改进其新的人工智能搜索聊天机器人Bard。就在Bard发布前不久，微软也刚刚发布了采用ChatGPT聊天机器人背后技术的新版必应搜索引擎，它允许用户就几乎任何话题进行多轮对话。然而，在Bard被发现提供了一个错误的答案后，对于谷歌的质疑也逐渐浮现。同样，随着越来越多的人测试了新必应，他们的聊天机器人也遇到了问题，比如其倾向于好斗的行为。像Bard和ChatGPT这样的AI聊天机器人，可以通过接受人类编写的文本训练来模仿人类对话，这就解释了为什么必应的回复有时候看起来有些情绪化和不可预测。毕竟，被训练得像人一样的机器人也很容易犯下人类的错误。这些聊天机器人最初通过摄取大量的训练数据来完成大部分学习。此外，Bard项目的产品主管杰克・克劳奇克(JackKrawczyk)在一份备忘录中告诉员工，谷歌的研究发现，为用户查询添加高质量的响应“显著”提高了其AI模型的质量。来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

【推特CEO：对垃圾邮件账户进行外部评估是不可能的】

【推特CEO：对垃圾邮件账户进行外部评估是不可能的】5月17日消息，推特CEO表示，跟马斯克大概描述了垃圾邮件的捕获过程，但对垃圾邮件账户进行外部评估是不可能的。公司内部对过去四个季度垃圾邮件账户占比的估计为“远低于5%”。此前消息，伊隆·马斯克在社交媒体上表示，如果能够顺利完成对推特的收购，他将致力于彻底解决平台上存在的垃圾邮件机器人问题，并且要对所有账户进行真人验证。（金十）

一篇写的非常好的文章，详细介绍了如何对大语言模型的质量进行评估。

一篇写的非常好的文章，详细介绍了如何对大语言模型的质量进行评估。流程包括单元测试、人工评估、模型评估和A/B测试,强调快速迭代和数据管理的重要性。一个好的测试流程是模型进步的必要条件，如果没办法准确测试模型质量，就没办法帮助模型进步。下面是大致的内容整理，后面有全文翻译：大语言模型产品的评估系统评估系统对大语言模型(LLM)产品的成功至关重要。许多LLM产品之所以失败,根本原因在于未能创建健壮的评估系统。评估、调试和改进是LLM产品成功的关键,而良好的评估系统可以创造一个良性循环,加速产品的迭代和改进。案例研究中的Lucy就是一个典型的例子,它初期通过提示工程取得了进展,但后来遇到了性能瓶颈,需要建立系统的评估方法来突破瓶颈。评估的类型LLM产品的评估主要分为三个层次:单元测试、人工评估和模型评估、A/B测试。单元测试是通过编写一些断言语句,在开发过程中快速获得反馈。人工评估和模型评估是通过人工检查和训练评估模型来评估整个系统。A/B测试则用于确保AI产品能够驱动期望的用户行为或结果。除了评估整个系统,还需要对子组件如RAG进行单独评估。单元测试的步骤单元测试是LLM产品评估的基础,通常包括三个步骤:编写特定范围的测试、创建测试用例和定期执行测试并追踪结果。编写测试时要针对LLM的不同功能和场景,检验相应的断言。可以利用LLM自动生成测试用例,触发不同的场景。测试应当定期执行,利用CI基础设施可以很方便地实现自动化测试和结果跟踪。测试通过率并不一定要达到100%,而是要在错误容忍度和产品目标之间取得平衡。人工评估和模型评估人工评估和模型评估是更高层次的测试手段。首先要记录LLM系统的跟踪数据,包括用户的输入和系统的响应,为后续分析提供数据基础。在查看数据时,定制化的查看工具和良好的可视化非常重要。将人工评估结果与评估模型的预测对齐,可以极大提高评估的效率。随着评估模型性能的提升,可以渐进式地用自动评估来替代人工评估。微调和数据合成与管理