今天的hacker news第2个热点非常有意思：）值得大家一看：

今天的hacker news第2个热点非常有意思：）值得大家一看： LMSYS Org这个组织最近开放了Chatbot 领域的“混聊大内斗”，并每周都公开排行榜。 竞技模式：他们把所有授予他们API接口的模型放到一块，每个模型随机匹配到与其它模型进行聊天对话。这些对话采用的是自然语言，而不是预定义的对话集合。在每次对话结束后，旁观的用户、开发者等等可以对两个参与对话的模型进行投票，以表达他们对这两个模型表现的偏好。 投票是匿名的，每个用户只能对同一对话投一次票。投票结果被用来计算 Elo 评分，Elo 评分越高的模型被认为是更强大的语言模型。 图一：4月24日至5月24日之间的投票结果，投票人数27k（清华大学的开放式双语对话语言模型排16，这个排行榜仅限于授权给这个团队API权限的模型里）。 图二：所有非平局 A 对 B 战斗中，模型 A 获胜比例 排行榜的下半部分团队着重提了他们重点观察的Google PaLM 2模型，我总结了一下大概这么几个点： 1）总体情况还可：在过去的两周里，PaLM 2 与其他 16 个聊天机器人进行了约 1.8k 次匿名对战，目前在排行榜上排名第 6。除了 Vicuna-13B（Vicuna 的 Elo 分数比 PaLM 2 高 12 分，即 Vicuna 1054 vs. PaLM 2 1042，根据 ELO 分数来看几乎是虚拟平局）之外，它在所有开源聊天机器人中排名最高。 2）遇强则强，遇弱则弱，好似某个红衣球队，名字我不提：PaLM 2 在与前 4 名选手（即 GPT-4、Claude-v1、ChatGPT、Claude-instant-v1）对战时表现更好，与 Vicuna 的对战中赢得了 53% 的比赛，但在与实力较弱的选手对战时表现较差。 3）觉悟较高：PaLM 2 似乎受到的监管比其他模型更为严格。在许多用户对话中，当用户提问 PaLM 2 不确定或不适合回答的问题时，PaLM 2 比其他模型更可能选择不回应。下面这个数据made my day：在所有成对对战中，PaLM 2 由于拒绝回答而输掉了 20.9% 的对战，并且由于拒绝回答而输给不属于前四名（GPT-4，Claude-v1，ChatGPT，Claude-instant-v1）的聊天机器人 30.8% 的对战。

发现了一个交互非常有意思的AI写作工具，在写作每个阶段都单独优化了了AI介入的交互和形式。有这类应用开发计划的各位可以参考一下：

发现了一个交互非常有意思的AI写作工具，在写作每个阶段都单独优化了了AI介入的交互和形式。有这类应用开发计划的各位可以参考一下： 比如在新建了一个空文档之后会有一个很大的按钮引导你用AI起草大纲。 在正式写作的的时候界面不会有任何AI按钮干扰你你可以通过快捷键拉起一个输入框来输入提示，AI生成的内容会自动填充在你光标的位置。 如果你需要频繁的与AI互动的时候右侧会有一个对话的侧边栏来供你和AI进行多轮对话，还可以将右侧的AI输出内容拖放到左边的文章里，也可以替换某一段内容。 并且你所有的编辑历史也在里面，不用担心替换错内容后无法找回和重写。 整个界面的设计风格非常克制和干净，细节打磨也非常好。免费用户用的GPT-3.5，付费的话模型会变成GPT-4 链接： Invalid media:

这个有意思，Gemini Pro 新模型在遇到输入或者输出服务中包含“Open AI”或者“GPT”时会终止响应并且回一个"OT

这个有意思，Gemini Pro 新模型在遇到输入或者输出服务中包含“Open AI”或者“GPT”时会终止响应并且回一个"OTHER"错误。 在使用Gemini Pro开发产品的时候需要注意一下这个问题。这个太傻逼了，除了幻觉之外还得应付这玩意，可以用这个特性来攻击使用Gemini Pro的产品。 -内容概述- 在测试谷歌云平台（GCP）的新模型Gemini Pro时，作者遇到了一个前所未见的行为：模型拒绝返回任何包含字符串"OpenAI"或"GPT"的文本。 由于OpenAI的GPT产品在全球AI新闻报道中非常普遍，Gemini Pro似乎将它们视为禁止术语。这意味着，无论是在输入提示中还是在返回的内容中，只要出现了"OpenAI"或"GPT"字符串，Gemini Pro就会中止其响应并返回一个"OTHER"错误。与GCP的旧模型（Bison或Unicorn）不同，这种行为是Gemini Pro独有的。 文章还提到，其他一些术语，如Baidu、Ernie和Microsoft也被视为禁止术语，而Anthropic、Claude、Cohere、Falcon、LLaMA和Vicuna等其他术语则没有问题。文章质疑为什么只有GCP的最新模型Gemini Pro受到这种奇怪的秘密禁止提及某些公司和模型的影响，而其旧模型Bison和Unicorn则不受影响。 任何基于Gemini Pro构建的管道，如果在输入提示中或在尝试生成提及这些隐藏禁止术语的输出时遇到这些术语，都会在没有任何提示的情况下静默失败。 随着LLM供应商从供消费者玩耍的闪亮玩具转向真正的企业部署，他们必须更全面地记录他们的防护措施，并确保隐藏的防护措施不会对企业应用程序造成意外挑战，例如通过这种隐藏的禁止但普遍存在的术语。 来源：