研究人员称 GPT-4 通过图灵测试

研究人员称GPT-4通过图灵测试《生活科学》报道，OpenAI的GPT-4已经通过了图灵测试，这意味着该模型在对话中能够表现出类似人类的智能水平。图灵测试由计算机科学家阿兰·图灵提出，是评估人工智能是否能够与人类表现出相同智能的标准。此次测试结果显示，GPT-4的表现足够逼真，足以欺骗评判者，使其难以分辨其与人类的对话。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

GPT-4已通过图灵测试

GPT-4已通过图灵测试计算机科学家约瑟夫-韦曾鲍姆（JosephWeizenbaum）于1966年开发的计算机程序Eliza表现最差，只有22%的人将其归类为人类。据科学家们称，这些结果首次提供了人工智能系统通过双人互动图灵测试的确凿证据，而且这很可能适用于未来几乎所有最先进的聊天机器人。英国数学家和计算机科学家阿兰-图灵于1950年首次提出了以他的名字命名的"模仿游戏"对话强度测试。从那时起，它就成了确定机器模仿人类对话能力的一个著名但有争议的基准。在该测试的现代变体中，人类"评委"会在不知道谁是谁的情况下与另一个人类或聊天机器人对话。如果面试官在50%的情况下不能可靠地区分计算机系统和人类，那么机器就被认为通过了测试。在当前的研究中，人类审讯者与代表其他人类、大型语言模型GPT-4和GPT-3.5以及基于对称列表处理器(SLIP)的简易对话系统Eliza的各种"证人"进行了互动，研究结果可在预印本服务器Arxiv上找到。研究人员随机分配人类参与者扮演法官或证人的角色。样本包括101个人类和GPT-3.5游戏，以及100个GPT4和Eliza游戏，所有游戏均通过一种消息应用程序进行，每个游戏持续五分钟。在402名审问者中，168人为女性，212人为男性，9人为非二元。13人不想提供任何信息。参与者的平均年龄为35岁。在2023年的上一次研究中，Eliza的表现明显更好，没有一个模型通过测试。这一次，科学家们采用了表现最好的GPT-4命令集（提示），并对其进行了修改。提示的第一部分指示模型表现得像一个年轻人，不要太认真地对待游戏，使用口语，不要出现拼写和语法错误。此外，它还不能提供太多的知识，尤其是语文和数学方面的知识。每轮测试开始时，都会添加一些额外的信息，如姓名、地点和时间戳。二人解释说，人类之所以不能百分之百地识别同类，是因为提问者认为人工智能的效率越来越高。这增加了他们将人类错误地识别为机器的可能性。为了深入了解影响审讯者做出决定的定性因素，研究小组对他们使用的策略和做出判断的理由进行了分类。36%的人询问证人的个人细节或日常活动。第二和第三类最常见的是社会和情感问题（25%）--例如，有关意见、经历和幽默的问题。审问者就其决定给出的最常见理由（43%）与基于拼写、语法、大小写和语气的语言风格有关。24%的人关注社会情感因素，如幽默感或个性。研究人员警告说，这些结果表明"当前人工智能系统的欺骗行为可能不会被发现"。能够成功模仿人类的机器人可能会产生"深远的经济和社会影响"。...PC版：https://www.cnbeta.com.tw/articles/soft/1434989.htm手机版：https://m.cnbeta.com.tw/view/1434989.htm

UCSD研究显示GPT-4在图灵测试中被误认为人类的比例高达54%

UCSD研究显示GPT-4在图灵测试中被误认为人类的比例高达54%UCSD的研究团队进行了一项实证研究，结果显示人类无法将GPT-4与人类区分开来，在54%的情况下，GPT-4被判定为人类。这是首次有系统在交互式双人图灵测试中被实证通过测试。研究者CameronR.Jones招募了500名志愿者，他们被分为5个角色：4个评估员（分别是GPT-4、GPT-3.5、ELIZA和人类），另一个角色是隐藏在屏幕另一端的人类，等待评估员的发现。实验要求人类参与者与人类或人工智能进行5分钟对话，并判断对话者是否是人类。研究结果显示，GPT-4的通过率为54%，超过了GPT-3.5（50%）和ELIZA基线（22%），但低于人类被试者（67%）。研究者还发现，评估者更注重语言风格和社会情感因素，而不是知识和推理。这表明社会智能是AI最难以模仿的人类特征。关注频道@ZaiHuaPd频道投稿@ZaiHuabot

微软154页研究刷屏：GPT-4能力接近人类 “天网”初现？

微软154页研究刷屏：GPT-4能力接近人类“天网”初现？在通往AGI的路上我们还有多远？微软豪华作者团队发布的154页论文指出，GPT-4已经初具通用人工智能的雏形。GPT-4会演变为通用人工智能吗？Meta首席人工智能科学家、图灵奖得主YannLeCun对此表示质疑。PC版：https://www.cnbeta.com.tw/articles/soft/1351127.htm手机版：https://m.cnbeta.com.tw/view/1351127.htm

GPT-4满分通过MIT本科数学考试 这套提示词火了

GPT-4满分通过MIT本科数学考试这套提示词火了要知道，测出这个结果的不是别人，正是来自MIT和波士顿大学、康奈尔大学的研究团队。而且强如上一代王者GPT-3.5，在同样的测试中，只成功搞定了三分之一。论文一出，无数目光迅速被吸引过来。GPT-4这样看似开挂的行为，自然引发了不少网友的感慨。比GPT-3.5强好多，好耶！咱就是说，有没有可能以后不需要比GPT-4更强的模型，来解决学术问题了？还有网友展现了自己网上冲浪的“前沿性”，玩了个这两天YannLeCun吐槽“GPT-4智商不如狗”的梗：GPT-4开挂MIT考试具体来说，GPT-4这次是参与了这样一场测试：研究团队策划了一个数据集，其中包含4550个问题和解决方案。这4550个问题和解决方案，来自MIT数学系和EECS的学生获得本科学位，需要学习的课程问题集、期中考试和期末考试。包括：6-1：电气科学与工程；6-2：电气工程与计算机科学；6-3：计算机科学与工程；6-4：人工智能与决策；18-1：普通数学；18-2：应用数学；18-3：纯数学；18-C：数学与计算机科学。题目统统出自MIT的数据集，从中随机生成228个问题，不涉及图像和已有解决方案的问题。题目的难度等级由易到难依次为：练习、习题、期中考试、期末考试、实验和专题。按答案类型排序，题目的难度由易到难依次为：编程、开放、选择题、数值、表达式和图像。这一次，参与考试的不只有GPT-4和GPT-3.5，还有StableVicuna-13B、LLaMA-30B和LLaMA-60B。选择让这4个大模型作为考试参赛选手，原因是它们是“最先进的大语言模型”。通过表格里的数据可以看到，得分最高的是经过调优后的GPT-4，得分率100%；表现最一般的是LLaMA-30B，只拿下了30%的分数。值得关注的是，原始版本的GPT-4开箱即用，完全不经过调优，在本次MIT考试中也拿到了90%的分数。调优流程，包括Few-Shot+CoT+Self-critique+Experts。从最终考试成绩的表格数据可以看到，从左到右每增加一个环节，调优后的GPT-4得分都会更上一层楼。此外，研究团队还在提示框里进行了工程优化，具体的“咒语”如下：等等，评分人是GPT-4自己？看到这样的结果，不少网友心生感慨，LLM在数学考试上的进步，未免有些神速了哈。2年前，AI还在苦苦挣扎小学数学问题。类似“小明种了5棵柠檬树，每年从每棵树上得到6个柠檬，10年间他总共得到多少柠檬”这种。去年年初，MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示，把数学问题转换成等价的编程问题，就可以让GPT-3的同门师兄弟——OpenAI的Codex掌握高数，达到MIT本科水平。学了6门MIT本科基础数学课里随机抽取的例题，6门课程每门随机出25道题，再加上一个ACT水平（美国高考）的数据集里的60道题。总计210道题，AI全部答对。不过有人提出，AI达到的“MIT本科水平”，实际是Codex在做语言题而非数学题——因为当时的评测中，Codex负责读写，并不包括求解。所以，这一回GPT-4表现奇佳，怎一个妙字了得~好了，知道你很着急夸它，但你先别着急夸它，因为很快有人发现了一些“诡异”。主要有2大槽点。第一个值得质疑一番的，就是OpenAI的训练数据集没有完全公布。这也就意味着，无法证明数据集中的4550个问题和解决方案，在GPT-4的训练集中不存在。换句话说，如果GPT-4在预训练阶段已经接触到了这次的考题们，那最终拿下完美得分，就没什么好惊喜的了。也难怪乎有网友毫不客气地yygq，认定GPT-4拿到这样的结果，一定是数据集已经包含在训练数据里了。第二个槽点，就是GPT-4最后100%的得分率，似乎哪里不对劲？？？定睛一看，在论文的第2.6节有一句很关键的点：团队在数据集上微调开源大模型，“给定问题Q、基本事实解S和LLM答案A，我们使用GPT-4自动对模型响应进行评分”。实际操作上，就是每个大模型生成这次考试的答案，然后派出GPT-4打分，分值在0-5之间。所以给GPT-4打出满分的，实际上是GPT-4自己。啊这……很难说没有王婆卖瓜自卖自夸的嫌疑。此外，关于要给GPT-4提供“好的提示”，才能让它达到满分成绩，也让许多人抱有微词。到底什么算“好的提示”呢？似乎无法定义。甚至有人喊着，应该把这些题丢给MIT数学和EECS的学生去做，并不断给他们“好的提示”，这样人类学生也能拿下100%的吧……OneMoreThing一个小小的彩蛋：整个测试中，基本上可以在笔记本电脑上部署运行的StableVicuna-13B，也有48%的得分率。这个成绩，不仅比模型更大的LLaMA-65B高出近10个百分点，就连MITfine-tuing过后的LLaMA-30B，还要高。让人不得不陷入一些关于模型规模与能力相关性的思考参考链接：[1]https：//arxiv.org/abs/2306.08997[2]https：//twitter.com/johnjnay/status/1669687958960586753[3]https：//twitter.com/arankomatsuzaki/status/1669528841629601792[4]https：//twitter.com/emollick/status/1669742473097228292...PC版：https://www.cnbeta.com.tw/articles/soft/1365793.htm手机版：https://m.cnbeta.com.tw/view/1365793.htm

GPT-4创造力竟全面碾压人类 最新创造力测试GPT4排名前1%

GPT-4创造力竟全面碾压人类最新创造力测试GPT4排名前1%不管是流畅性、灵活性，还是原创性，要不和人类势均力敌，要不直接碾压人类。这项研究在南俄勒冈大学的创意会议上发表（ConferenceonCreativity）。包括蒙大拿大学和西澳大学教授在内的一个研究小组发现：OpenAI的GPT-4在托伦斯创造性思维测试（TTCT）中的得分在前1%，在流畅性、灵活性和原创性等创造性能力方面与人类相匹配或超过了人类。这些发现在南俄勒冈大学的创意会议上发表。GPT-4“头脑风暴”主导这项研究的Guzik博士表示，这项研究对初创企业的建立和小企业的发展会有巨大影响，它将成为推动整体经济活动增长的重要力量。Guzik进一步阐释，GPT-4所表现出的非凡创造力标志着AI驱动的头脑风暴和解决方案开发的全新阶段。换句话说，以往初创企业和小企业基本都面临资源限制的典型问题，这限制了他们雇佣大型团队，对市场进行全面研究的能力。而这一切，将会被AI的创造力扭转。该研究团队的第一次会面，是在2013年Boise州立大学举办的创新和创造力研讨会上。当时，Gilde博士和Guzik博士参加了由Byrge举办的主题研讨会。三人发现，他们都对和创造力有关的东西感兴趣。他们共同认为，AI技术会对商业教育和商业发展有重大辅助作用。随着他们对AI的探索不断加深，更印证了他们的想法。“尤其是ChatGPT。”对于他们与GPT-4的最新研究项目，研究人员对评估其与人类创造力相比的创造能力感兴趣。GPT-4通过ChatGPT使用TTCT的两个变体进行了八次测试，TTCT是研究人员评估创造力的黄金标准。使用TTCT，研究人员要求GPT-4通过提问、猜测原因、考虑潜在的后果、产生产品改进的想法、设想现有产品的新的替代用途以及想象未来的情景来展示其创造能力。TTCT的第三方评估机构ScholasticTestingServices将人工智能的反应与人类的反应进行了比较。在所有八项测试中，GPT-4在流畅性方面的得分都在所有人类反应的前1%，即对每项活动展现出了大量反应的能力。在灵活性方面，即产生各种想法的能力，以及从一种方法转向另一种方法的能力，有三项测试的得分在前1%，两项在前2%，其余三项在前7%。而在Guzik博士眼中，评分里最重要的就是原创性了。在所有八项测试中，GPT-4在原创性方面的得分都在前1%，即：产生不寻常或独特的反应的能力，也就是超出常规的能力。Guzik博士表示，“这是第一项能够展现AI可以产生与人类创造能力的现有门槛相匹配或超过的原创反应的研究。”研究小组预测，在未来五年内，创业过程的每一个组成部分，以及一般的商业，都将受到人工智能的影响。这包括识别独特的机会和重要的问题，产生新颖的解决方案想法，改进产品，产生新的营销策略，以及想象未来的场景和结果等等。该团队的研究结果，包括进一步研究训练GPT-4以提高其在商业创新和创业等特定领域的创造能力，计划在今年夏天晚些时候发表。创造力稀释其实，这并不是第一个研究GPT-4创造力的研究项目。国外小哥PhilBennett曾表示，他担心AI的创造力会让人类陷入困境。创造力是独属于人类的工具，是区分人类和其它生物的关键点。而AI生成的东西严格来讲并不是“创造”，而是类似一种“反刍”，将喂进去的东西通过不同的方式结合在一起，然后进行输出。而这也是Bennett所担心的。他担心类似GPT-4、DALL-E等工具会稀释人类的创造力。换句话说，不会再有真正新的东西被创造出来，产生的东西都是把既有的东西拆分重组。...PC版：https://www.cnbeta.com.tw/articles/soft/1367073.htm手机版：https://m.cnbeta.com.tw/view/1367073.htm