出分了！首个AI高考全卷评测结果发布

出分了！首个AI高考全卷评测结果发布2024年全国高考甫一结束，司南评测体系OpenCompass选取6个开源模型及GPT-4o进行高考“语数外”全卷能力测试。评测采用全国新课标I卷，参与评测的所有开源模型，开源时间均早于高考，确保评测“闭卷”性。同时，成绩由具有高考评卷经验的教师人工评判，更加接近真实阅卷标准。首个大模型高考全卷评测结果显示，Qwen2-72B、GPT-4o及书生·浦语2.0文曲星（InternLM2-20B-WQX）成为本次大模型高考的前三甲，得分率均超过70%。大部分模型“考生”语文、英语科目表现良好，但在数学方面还有很大的提升空间。其中，InternLM2-20B-WQX取得了数学单科的最高分，超越包括GPT-4o在内的所有模型。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

首个AI高考全卷评测结果发布：最高分303 数学全员不及格

首个AI高考全卷评测结果发布：最高分303数学全员不及格语数外三科加起来的满分为420分，此次高考测试结果显示，阿里通义千问2-72B排名第一，为303分，OpenAI的GPT-4o排名第二，得分296分，上海人工智能实验室的书生·浦语2.0排名第三，三个大模型的得分率均超过70%。来自法国大模型初创公司的Mistral排名末尾。此次测试的模型分别来自阿里巴巴、零一万物、智谱AI、上海人工智能实验室、法国Mistral的开源模型，以及来自OpenAI的闭源模型GPT-4o。实验室表示，因无法确定闭源模型的更新时间，为公平起见，此次评测没有纳入商用闭源模型，仅引入GPT-4o作为评测参考。这次选择参与高考的“考生”均在高考前（2024年4月-6月）开源，避免了“刷题风险”。从结果来看，大模型的语文、英语考试水平普遍不错，但数学都不及格，最高分也只有75分，来自书生·浦语2.0，其次是GPT-4o，得分73分。语文最高分是通义千问，英语最高分是GPT-4o。在数学方面大模型还有很大的提升空间。数学关乎复杂推理相关能力，这是大模型普遍面临的难题，也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。上海人工智能实验室领军科学家林达华此前在采访中对第一财经介绍，复杂推理关系到落地应用时大模型的可靠性，例如在金融这样的场景下不能在数字上有差错，会对数学上的可靠性有较高的要求。另外随着大模型进入商用，若要分析一家公司的财报，甚至是工业领域要去分析一些技术文档，这时数学方面的计算能力就会成为一个壁垒。“现在很多大模型的应用场景是客服、聊天等等，在聊天场景一本正经胡说八道影响不太大，但它很难在非常严肃的商业场合去落地。”林达华此前表示。对于此次测试细节，上海人工智能实验室介绍，评测采用全国新课标I卷，“语数外”三科全卷测试，包括客观题与主观题。成绩由具备高考评卷经验的老师匿名人工判分，阅卷开始前，阅卷教师未被告知答卷均由模型生成，使阅卷教师完全以面对真实考生的标准评判回答效果。值得注意的是，大模型犯错误的方式和人类考生有差异，从实践上来看阅卷老师们不完全适应给大模型评分，因此存在有题目误判的可能。实验室表示，每个题目都邀请了至少三位老师评阅取均分，团队对分差较大的题目还进行了再次审核，贴近高考真实阅卷标准。实验室表示，在打分前，老师们并未被告知答案由大模型生成，但由于有的模型会存在完全不理解题意导致乱答、重复生成、回答更像解析而非解答的问题，老师们在阅卷过程中基本都会和团队确认这些情况是否是正常情况，团队会要求老师将离谱的错误直接视为答题错误，解析类型的回答以是否包含正确解题过程作为唯一准则。在完成所有大模型答卷的评卷工作后，阅卷教师被告知所评“考生”的真实身份为大模型。研究人员同时邀请各科教师对大模型表现进行了整体分析，为模型能力提升策略提供参考。语文方面，老师们认为，模型的现代文阅读理解能力普遍较强，但是不同模型的文言文阅读理解能力差距较大。大模型作文更像问答题，虽然有针对性但缺乏修饰，几乎不存在人类考生都会使用举例论证、引用论证、名人名言和人物素材等手法。多数模型无法理解“本体”“喻体”“暗喻”等语文概念。语言中的一些“潜台词”，大模型尚无法完全理解。在数学试卷上，老师们发现，大模型的主观题回答相对凌乱，且过程具有迷惑性，甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强，但是无法在解题过程中灵活引用。英语则整体表现良好，但部分模型由于不适应题型，在七选五、完形填空等题型得分率较低。大模型英语作文普遍存在因超出字数限制而扣分的情况，而人类考生多因为字数不够扣分。此外，一些老师提出，由于全部回答没有卷面，所以在作文的评判上会存在1-2分的误差。...PC版：https://www.cnbeta.com.tw/articles/soft/1435334.htm手机版：https://m.cnbeta.com.tw/view/1435334.htm

6月24日，在极客公园最新发布的高考新课标Ⅰ卷大模型评测报告中，GPT-4o以562分排名文科总分第一。国内产品中，字节跳动旗下

6月24日，在极客公园最新发布的高考新课标Ⅰ卷大模型评测报告中，GPT-4o以562分排名文科总分第一。国内产品中，字节跳动旗下的豆包拔得头筹，成绩是542.5分。本次大模型高考评测与河南省考卷完全相同，河南高考录取分数线显示，文科本科一批录取分数线为521分，豆包成功冲上一本线。与文科相比，大模型的理科成绩要差很多，最高分还不到480分，多数大模型的理科总分在400分以下。相比河南理科511分的一本线，大模型尚有较大差距。

商汤与上海 AI 实验室等发布 “书生・浦语” 大模型

商汤与上海AI实验室等发布“书生・浦语”大模型据商汤官微，近日，商汤科技、上海AI实验室联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生・浦语”（InternLM）。“书生・浦语”具有1040亿参数，是在包含1.6万亿token的多语种高质量数据集上训练而成。全面评测结果显示，“书生・浦语”不仅在知识掌握、阅读理解、数学推理、多语翻译等多个测试任务上表现优秀，而且具备很强的综合能力，因而在综合性考试中表现突出，在多项中文考试中取得超越ChatGPT的成绩，其中就包括中国高考各个科目的数据集。https://finance.sina.cn/tech/2023-06-07/detail-imywmzqi6268181.d.html?from=wap

上海人工智能实验室发布自动驾驶视频生成模型 GenAD

上海人工智能实验室发布自动驾驶视频生成模型GenAD上海人工智能实验室3月20日发文宣布，近日，该实验室联合香港科技大学、德国图宾根大学、香港大学推出大规模自动驾驶视频生成模型GenAD，通过预测和模拟真实世界场景，为自动驾驶技术的研究和应用提供支撑。视频生成模型GenAD进一步拓宽了自动驾驶技术的研究路径。结合此前推出的端到端自动驾驶模型UniAD、“语言+自动驾驶”全栈数据集DriveLM，上海人工智能实验室从多个技术维度对自动驾驶技术进行探索，从而多方位提升其智能性。同时，联合团队构建了包含1747小时驾驶视频的数据集OpenDV-YouTube，现已开源。