语言学家不太懂语言模型。还以为只是简单的概率。

语言学家不太懂语言模型。还以为只是简单的概率。其实语言模型对语言的理解已经超出了语言学家。乔老爷真是老了。RaphaëlMillière: Let'slookatthisotherexample.Theauthorsassertthat"thepredictionsofmachinelearningsystemswillalwaysbesuperficialanddubious",andgiveonceagainanimaginaryfailurecasethatcurrentchatbotseasilyavoid.12/

相关推荐

封面图片

葡萄牙语言学家João Veloso出任澳大葡文系主任

葡萄牙语言学家JoãoVeloso出任澳大葡文系主任#澳门大学澳门大学委任享负盛名的葡萄牙语言学家JoãoVeloso教授担任人文学院葡文系主任。JoãoVeloso教授曾任葡萄牙三大学府之一的波尔图大学的协理副校长,并担任多个葡萄牙语言学家及教师学术学会的会长或理事,拥有丰富的教研、管理和知识转移经验。他表示,将因应澳大葡文系的独特优势,以培养更多中葡双语人材为目标,制定新的教学和研究发展策略。JoãoVeloso教授表示...https://www.gcs.gov.mo/detail/zh-hant/N22JJbDSxb

封面图片

世界顶尖语言学家于澳门理工大学开讲创新英语教学

世界顶尖语言学家于澳门理工大学开讲创新英语教学#澳门理工大学为推动澳门国际高等教育交流与合作,澳门理工大学语言及翻译学院邀请世界顶尖应用语言学家KenHyland,以“创新英语教学:针对专门课程的论据”为题发表了精彩的学术演讲,线上线下吸引来自澳门及大湾区众多高校师生四百人参加,Hyland与出席师生亲切交流、深入探讨,反应热烈。KenHyland是英国东英格拉大学教授、国际著名应用语言学家,香港大学和英国华威大学荣誉教授...https://www.gcs.gov.mo/detail/zh-hant/N24CKuY6Or

封面图片

巴西语言学家于澳门理工大学探讨语料库与翻译前沿研究

巴西语言学家于澳门理工大学探讨语料库与翻译前沿研究#澳门理工大学为进一步与葡语国家知名高校及学者深化学术合作,探讨翻译学与语料库前沿交叉学科的最新研究成果,澳门理工大学语言及翻译学院近日邀请巴西米纳斯吉拉斯联邦大学(UFMG)语言学家教授阿德里安娜•帕加诺(AdrianaPagano),带来了五场以“语料库与翻译”和“认知翻译研究”为专题的系列讲座,引起了师生的高度关注。系列讲座以线上线下结合的方式进行,语言及翻译学院师生积极参与,深入互动,氛围热烈...https://www.gcs.gov.mo/detail/zh-hant/N24BZppQpX

封面图片

ChatGPT vs. 人类:即使语言学专家也分不清谁写了什么

ChatGPTvs.人类:即使语言学专家也分不清谁写了什么研究显示,语言学专家很难区分人工智能和人类生成的文章,正面识别率仅为38.9%。尽管他们的选择背后有逻辑推理,但却经常出现错误,这表明人工智能生成的简短文本也可以像人类写作一样胜任。南加大世界语言系学者马修-凯斯勒(MatthewKessler)说:"我们认为,如果有人能够识别人类撰写的文章,那就应该是语言学家,他们的职业生涯一直在研究语言模式和人类交流的其他方面。"凯斯勒与孟菲斯大学应用语言学助理教授埃利奥特-卡萨尔(J.ElliottCasal)合作,让72位语言学专家审查各种研究摘要,以确定它们是由人工智能还是人类撰写的。每位专家被要求审查四份写作样本。没有人能够正确识别所有四个样本,而有13%的人则全部弄错了。凯斯勒得出结论说,根据研究结果,如果没有尚未开发出来的软件帮助,教授们将无法区分学生自己的写作或由人工智能驱动的语言模型(如ChatGPT)生成的写作。尽管专家们在研究中尝试使用理由来判断写作样本,比如识别某些语言和文体特征,但他们基本上都没有成功,总体正面识别率为38.9%。凯斯勒说:"更有趣的是,当我们问他们为什么要判定某篇文章是人工智能写的还是人类写的。他们分享了非常合乎逻辑的理由,但这些理由并不准确,也不一致"。在此基础上,凯斯勒和卡萨尔得出结论:鉴于人工智能通常不会出现语法错误,ChatGPT可以像大多数人类一样写出短篇体裁的文章,甚至在某些情况下会写得更好。对于人类作者来说,长篇写作才是一线希望。凯斯勒说:"众所周知,对于较长的文本,人工智能会产生幻觉,编造内容,从而更容易识别出这是人工智能生成的。"凯斯勒希望这项研究能引发更广泛的讨论,围绕在研究和教育中使用人工智能制定必要的道德规范和准则。...PC版:https://www.cnbeta.com.tw/articles/soft/1382715.htm手机版:https://m.cnbeta.com.tw/view/1382715.htm

封面图片

问医断病这届AI行不行?科学家评估大型语言模型回答医学问题的能力

问医断病这届AI行不行?科学家评估大型语言模型回答医学问题的能力图为研究团队的方法和现有技术的比较。Flan-PaLM540B模型在MedQA,MedMCQA和PubMedQA数据集上均超过了以往最先进的SOTA,每列上方显示的是准确率百分比。图片来源:《自然》就其本身而言,人工智能(AI)给出的答案是准确的。但英国巴斯大学教授詹姆斯·达文波特指出了医学问题和实际行医之间的区别,他认为“行医并不只是回答医学问题,如果纯粹是回答医学问题,我们就不需要教学医院,医生也不需要在学术课程之后接受多年的培训了。”鉴于种种疑惑,在《自然》杂志新近发表的一篇论文中,全球顶尖的人工智能专家们展示了一个基准,用于评估大型自然语言模型能多好地解决人们的医学问题。现有的模型尚不完善最新的这项评估,来自Google研究院和深度思维公司。专家们认为,人工智能模型在医学领域有许多潜力,包括知识检索和支持临床决策。但现有的模型尚不完善,例如可能会编造令人信服的医疗错误信息,或纳入偏见加剧健康不平等。因此才需要对其临床知识进行评估。相关的评估此前并非没有。然而,过去通常依赖有限基准的自动化评估,例如个别医疗测试得分。这转化到真实世界中,可靠性和价值都有欠缺。而且,当人们转向互联网获取医疗信息时,他们会遭遇“信息超载”,然后从10种可能的诊断中选择出最坏的一种,从而承受很多不必要的压力。研究团队希望语言模型能提供简短的专家意见,不带偏见、表明其引用来源,并合理表达出不确定性。5400亿参数的LLM表现如何为评估LLM编码临床知识的能力,Google研究院的专家希库费·阿孜孜及其同事探讨了它们回答医学问题的能力。团队提出了一个基准,称为“MultiMedQA”:它结合了6个涵盖专业医疗、研究和消费者查询的现有问题回答数据集以及“HealthSearchQA”——这是一个新的数据集,包含3173个在线搜索的医学问题。团队随后评估了PaLM(一个5400亿参数的LLM)及其变体Flan-PaLM。他们发现,在一些数据集中Flan-PaLM达到了最先进水平。在整合美国医师执照考试类问题的MedQA数据集中,Flan-PaLM超过此前最先进的LLM达17%。不过,虽然Flan-PaLM的多选题成绩优良,进一步评估显示,它在回答消费者的医疗问题方面存在差距。专精医学的LLM令人鼓舞为解决这一问题,人工智能专家们使用一种称为设计指令微调的方式,进一步调试Flan-PaLM适应医学领域。同时,研究人员介绍了一个专精医学领域的LLM——Med-PaLM。设计指令微调是让通用LLM适用新的专业领域的一种有效方法。产生的模型Med-PaLM在试行评估中表现令人鼓舞。例如,Flan-PaLM被一组医师评分与科学共识一致程度仅61.9%的长回答,Med-PaLM的回答评分为92.6%,相当于医师作出的回答(92.9%)。同样,Flan-PaLM有29.7%的回答被评为可能导致有害结果,Med-PaLM仅5.8%,相当于医师所作的回答(6.5%)。研究团队提到,结果虽然很有前景,但有必要作进一步评估,特别是在涉及安全性、公平性和偏见方面。换句话说,在LLM的临床应用可行之前,还有许多限制要克服。...PC版:https://www.cnbeta.com.tw/articles/soft/1371591.htm手机版:https://m.cnbeta.com.tw/view/1371591.htm

封面图片

昨天比较热的一条推,作者在测试Claude 3 Opus模型时,发现它能够在极少量平行语料(5700个翻译对)的基础上,近乎完美

昨天比较热的一条推,作者在测试Claude3Opus模型时,发现它能够在极少量平行语料(5700个翻译对)的基础上,近乎完美地翻译和分析一门复杂的低资源语言Circassian。Calude3在这方面确实非常强大,基本上很少的数据就可以学会你想要教给他的内容。推文详细介绍:作者在测试Anthropic公司新模型Claude3Opus时,见证了令人惊叹的事情。作者一直在研究一门叫Circassian的低资源语言,这是一门孤立语言,语料稀缺,语法和形态极其复杂,对语言模型是巨大挑战。作者之前花了两年时间搜集了6.4万对俄语-Circassian语的平行语料,训练专门的机器翻译模型才取得了不错的效果。作为实验,他只给ClaudeOpus输入了5700对随机抽取的单词/句子对作为示例,然后让它翻译一些新句子。令人惊讶的是,ClaudeOpus不仅给出了完美的翻译,还对语法和词态进行了分析。即使是作者精心设计的,不太可能在示例数据中出现的复杂句子,ClaudeOpus也给出了无可挑剔的翻译和分析。它展现了对这门语言的深刻理解,在翻译文学作品、新闻、方言时也保持了原文的风格,遇到生词还能推测含义,提供词源分析,必要时甚至造新词。作者强调,用同样的输入数据,一个不懂Circassian语的语言学家可能需要一年时间才能达到类似水平。而ClaudeOpus只用几千个翻译对,一分钟内就掌握了语言的精髓。相比之下,GPT-4和作者之前微调的GPT-3.5模型都完全失败了。作者最初以为ClaudeOpus完全是从他提供的少量示例中学到了Circassian语的知识,后来发现其实它在预训练时已经学到了一些。尽管如此,Anthropic在训练数据中纳入了Circassian这样的小语种,效果令人印象深刻。尽管作者的初始假设有误,但ClaudeOpus展现的低资源语言能力依然令人惊叹,这预示着小语种和许多其他领域的重大突破。未来已经到来,而且令人惊喜。来源:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人