昆仑万维：“天工 3.0” 超越 GPT4V 多项评测指标达到全球领先水平

昆仑万维：“天工3.0”超越GPT4V多项评测指标达到全球领先水平昆仑万维在互动平台表示，公司现已构建了自主可控的算力集群。目前公司已有算力预计能够满足未来1-2年除视频AIGC之外的大模型算力需求。2024年4月17日，公司正式将天工大模型迭代至3.0版本。“天工3.0”采用4,000亿参数MoE架构，是目前全球模型参数最大、性能最强的开源MoE模型之一。“天工3.0”在语义理解、逻辑推理等方面能力实现质的飞跃，其技术知识能力较上一代模型提升20%，数学、代码等能力提升超30%。同时，在MMBench等多项权威多模态测评结果中，“天工3.0”超越GPT4V，多项评测指标达到全球领先水平。

GPT-4不会图形推理？“放水”后准确率依然只有33%

GPT-4不会图形推理？“放水”后准确率依然只有33%△虚线表示16项任务的平均表现这项实验结果发表后，迅速在YC上引发了广泛热议。赞同这项结果的网友表示，GPT确实不擅长抽象图形处理，“位置”“旋转”等概念理解起来更加困难。但另一边，不少网友对这个结论也有所质疑，简单说就是：不能说是错的，但说完全正确也无法让人信服。至于具体的原因，我们继续往下看。GPT-4准确率仅33%为了评估人类和GPT-4在这些图形题上的表现，研究者使用了自家机构于今年5月推出的ConceptARC数据集。ConceptARC中一共包括16个子类的图形推理题，每类30道，一共480道题目。这16个子类涵盖了位置关系、形状、操作、比较等多个方面的内容。具体而言，这些题目都是由一个个像素块组成的，人类和GPT需要根据给定的示例寻找出规律，分析出图像经过相同方式处理后的结果。作者在论文中具体展示了这16个子类的例题，每类各一道。结果451名人类受试者平均正确率，在各子项中均不低于83%，16项任务再做平均，则达到了91%。而GPT-4（单样本）在“放水”到一道题可以试三次（有一次对就算对）的情况下，准确率最高不超过60%，平均值只有33%。早些时候，这项实验涉及的ConceptARCBenchmark的作者也做过类似的实验，不过在GPT-4中进行的是零样本测试，结果16项任务的平均准确率只有19%。而多模态的GPT-4v，准确率反而更低，在一个48道题组成的小规模ConceptARC数据集中，零样本和单样本测试的准确率分别只有25%和23%而研究者在进一步分析了错误答案后，发现人类的有些错误看上去很可能是“粗心导致”，而GPT则是完全没有理解题目中的规律。针对这些数据，网友们普遍没什么疑问，但让这个实验备受质疑的，是招募到的受试人群和给GPT的输入方式。受试者选择方式遭质疑一开始，研究者在亚马逊的一个众包平台上招募受试者。研究者从数据集中抽取了一些简单题目作为入门测试，受试者需要答对随机3道题目中的至少两道才能进入正式测试。结果研究人员发现，入门测试的结果显示，有人只是想拿钱，但根本不按要求做题。迫不得已，研究者将参加测试的门槛上调到了在平台上完成过不少于2000个任务，且通过率要达到99%。不过，虽然作者用通过率筛人，但是在具体能力上，除了需要受试者会英语，对图形等其他专业能力“没有特殊要求”。而为了数据的多样化，研究者在实验后期又将招募工作转到了另一个众包平台，最终一共有415名受试者参与了实验。尽管如此，还是有人质疑实验中的样本“不够随机”。还有网友指出，研究者用来招募受试者的亚马逊众包平台上，有大模型在冒充人类。再来看GPT这边的操作，多模态版本比较简单，直接传图然后用这样的提示词就可以了：零样本测试中，则只要去掉相应的EXAMPLE部分。但对于不带多模态的纯文本版GPT-4（0613），则需要把图像转化为格点，用数字来代替颜色。针对这种操作，就有人表示不认同了：把图像转换成数字矩阵后，概念完全变了，就算是人类，看着用数字表示的“图形”，可能也无法理解OneMoreThing无独有偶，斯坦福的华人博士生JoyHsu也用几何数据集测试了GPT-4v对图形的理解能力。这个数据集发表于去年，目的是测试大模型对欧氏几何的理解，GPT-4v开放后，Hsu又用这套数据集给它测试了一遍。结果发现，GPT-4v对图形的理解方式，似乎“和人类完全不同”。数据上，GPT-4v对这些几何问题的回答也明显不如人类。论文地址：[1]https://arxiv.org/abs/2305.07141[2]https://arxiv.org/abs/2311.09247参考链接：[1]https://news.ycombinator.com/item?id=38331669[2]https://twitter.com/joycjhsu/status/1724180191470297458...PC版：https://www.cnbeta.com.tw/articles/soft/1398629.htm手机版：https://m.cnbeta.com.tw/view/1398629.htm

阿里发布自研夸克大模型 整体能力已超GPT-3.5

阿里发布自研夸克大模型整体能力已超GPT-3.5夸克大模型是基于Transformer架构、自主研发的多模态大模型，每天会对亿级的图文数据进行训练和精调，具有低成本、高响应、综合能力强等特点。同时，夸克大模型还将衍生出通识、医疗、教育等垂类模型，可以提供AIGC、智能检索的专业服务。在国内专业考试测试中，夸克大模型高考成绩接近满分，并以486分的高水平通过临床执业医师资格考试，这是名副其实的“学霸”。应用方面，夸克大模型将应用于通用搜索、医疗健康、教育学习、职场办公等场景，夸克App亦将借助这一大模型全面升级。...PC版：https://www.cnbeta.com.tw/articles/soft/1396805.htm手机版：https://m.cnbeta.com.tw/view/1396805.htm