LLM排行榜更新：谷歌Bard超过GPT-4 中国玩家未进前十
LLM排行榜更新：谷歌Bard超过GPT-4 中国玩家未进前十
排行榜介绍这个LLMs 排行榜（Chatbot Arena基准平台）是由 UC伯克利研究人员主导的LMSYS (Large Model Systems Organization)组织发起的。通过在LLMs 间进行随机匿名的 1V1 battle 方式，并基于 Elo 评级系统得出排名。如下图所示，你可以随便问一个问题，左侧是模型A的回答，右侧是模型B的回答。然后你可以给这两个模型的回答打分，一共有四个选项“A更好；B更好；A和B一样好；A和B一样差”，如果一轮聊天判断不出来，你可以继续聊天，直到选出你认为更好的，但如果在聊天过程中暴露了大模型的身份，则投票将不被计算在内。下图显示了模型A在对战模型B时获胜几率（不包含平局 ）的比例分布图：下图显示了每种模型组合的battle次数（无平局））下图显示了单个模型相对于所有其他模型的平均胜率：OpenAI霸榜，中国玩家未进前十下图是该榜单目前排名的 Top 10，可以看出GPT-系列模型还是占据绝对优势的（前四名中占据了其三），而 Anthropic旗下的 Claude 系列模型则是在前十中占据了三席。号称是欧洲版OpenAI的 Mistral公司，这次也有两个模型进入前十。另外请看上图最右侧一列，排名 Top 10的模型中，有9家都是闭源的私有模型，这说明开源模型还是有一段路要走。遗憾的是中国玩家的大语言模型没有进入前十。其中排名最高的是李开复创业公司零一万物旗下的 Yi-34B-Chat模型，位居13名。其次是阿里旗下的 通义千问 Qwen-14B-chat模型，排名36:再之后是清华教授唐杰创业公司智谱AI旗下的ChatGLM系列模型：需要说明三点：1、有很多中国大厂研发的模型可能没有参与到该榜单排名；2、该榜单是面向全球公众的，所以选择用英文来聊天的用户要远比中文多，这可能对中国玩家研发的大语言模型不利；3、该榜单仅仅统计了20w用户的随机提问和聊天，代表了用户和LLMs聊天的真实评价，但由于用户的提问和专业程度参差不齐，所以评价具有一定的主观性。最后我们说回Google，在裁员和科学家离职创业的内忧外患之际（详情请移步Google危机大爆发！科学家纷纷离职创业、员工裁员不断...），Google24年究竟能不能完成“帝国反击战”呢？让我们拭目以待吧！ ...
PC版：
手机版：
