ChatGPT 在文本标注任务中的表现超过了众包工人

苏黎世大学的研究人员在预印本平台arXiv上发表论文,报告OpenAI的AI聊天机器人ChatGPT在文本标注任务中的表现超过了众包工人。大量的自然语言处理(NLP)应用需要高质量的标注数据,此类任务可根据复杂程度和规模交给亚马逊众包平台MTurk上的众包工人或专业的标注者去完成。研究人员使用了包含2,382则推文的样本,对比了ChatGPT和众包工人以及专业标注者的表现。结果显示,ChatGPT在五项任务中有四项超过了众包工人,在评估一致性(intercoderagreement)上超过了众包工人以及专业标注者。更重要的是ChatGPT的标注成本每条不到0.003美元,是众包工人二十分之一。研究显示大语言模型可显著提高文本分类的效率。()投稿:@ZaiHuabot频道:@TestFlightCN

相关推荐

封面图片

众包工人用 AI 为 AI 做数据标注工作

众包工人用AI为AI做数据标注工作AI模型是建立在人类劳动的基础之上的,高质量的数据标注对AI模型至关重要,AI公司通常会雇佣廉价的众包工人做一些数据标注工作。但研究显示,随着AI聊天机器人,如ChatGPT的流行,众包工人开始利用AI做这些数据标注的工作。瑞士洛桑联邦理工学院的研究人员招募了44名众包工人来对16篇医学研究论文总结摘要,根据记录的击键情况,比如按下复制快捷键等,他们估计有33-46%的摘要文本是用AI生成的。消息来源:关联阅读:投稿:@ZaiHuaBot频道:@TestFlightCN

封面图片

AI 标注员都开始用 AI 了。

AI标注员都开始用AI了。又一条路锁死。我们在亚马逊机械土耳其重新运行了一项关于摘要总结的任务,并通过键盘击键检测和合成文本分类的组合,估计完成任务的众包工作者中有33-46%使用了LLMs。

封面图片

YATO,一个用于文本分析的开源 Python 库。特别是,YATO专注于序列标注和序列分类任务,包括广泛的基础 NLP 任务,

YATO,一个用于文本分析的开源Python库。特别是,YATO专注于序列标注和序列分类任务,包括广泛的基础NLP任务,例如词性标注、分块、NER、CCG超标注、情感分析和句子分类。YATO可以通过用户友好的配置和集成SOTA预训练的语言模型,例如BERT,来设计基于RNN和Transformer的特定模型。YATO是一个基于PyTorch的框架,可以灵活选择输入特征和输出结构。使用YATO设计神经序列模型完全可以通过配置文件进行配置,不需要任何代码工作。其之前的版本NCRF++已被ACL2018接受为演示论文。基于NCRF++的深度实验报告被COLING2018接受为最佳论文。与NCRF++相比,YATO的亮点在于对Pre-trainedLanguageModel和句子分类任务的支持。#机器学习#框架

封面图片

Firefox浏览器在SunSpider测试中的表现终于超过了Google Chrome

Firefox浏览器在SunSpider测试中的表现终于超过了GoogleChrome上周发布的FirefoxNightly文档中概述说:"我们现在显然在SunSpiderJavaScript基准测试中击败了Chrome浏览器!所提供的数据显示,在这项已有十年历史的JavaScript基准测试中,Firefox浏览器轻松击败了Chrome浏览器。"这些基准测试结果来自AreWeFastYet.com。同时,在更新、要求更高的JetStream2.0基准测试中,Google浏览器继续轻松战胜Firefox浏览器。在过去的一个月里,除了Firefox浏览器在JavaScriptSunSpider基准测试中的运行速度更快之外,HTTP/2上传速度的改进以及其他各种增强功能也取得了进展。...PC版:https://www.cnbeta.com.tw/articles/soft/1377253.htm手机版:https://m.cnbeta.com.tw/view/1377253.htm

封面图片

ChatGPT现在正协助美国国会众议员在工作过程中撰写决议文本

ChatGPT现在正协助美国国会众议员在工作过程中撰写决议文本代表洛杉矶县的民主党议员TedLieu(刘云平)周四提出了这项立法--具体而言,这是国会众院历史上第一个由人工智能撰写的决议。这是一项决议,意味着它不是一项具有任何法律效力的法案,但这仍然为人工智能正在迅速推动我们所有人进入的那种世界指明了前进的方向。为了产生最终的立法,Lieu的办公室说他给ChatGPT聊天机器人做了如下提示。"你是国会议员TedLieu。写一份全面的国会决议,普遍表达对国会关注人工智能的支持。"以下是聊天机器人得出的结果:鉴于人工智能(AI)有可能大大改善美国人和全世界人民的生活,提高生产力,改善医疗保健,并帮助解决世界上一些最紧迫的问题。鉴于,人工智能正在迅速发展,并有可能改变我们的生活、工作和相互交流的方式。鉴于,国会有责任确保人工智能的发展和部署是以安全、道德和尊重所有美国人的权利和隐私的方式进行。鉴于国会有责任确保人工智能的好处得到广泛传播,并将风险降到最低。即使是Google显然也被吓坏了正如这段文字所证明的,AI的潜力是非常广泛和深远的。ChatGPT的能力据说让Google全公司上下进入"CodeRed"模式,就不难了解它的影响。Google仍然是占主导地位的搜索引擎,但这个聊天机器人的提示所能提供的搜索功能是如此强大,据说Google首席执行官桑达尔-皮查伊(SundarPichai)召集了搜索巨头的创始人--谢尔盖-布林和拉里-佩奇--来帮助应对这一潜在威胁。甚至在ChatGPT问世之前,Google就已经将资源转向人工智能产品的开发,并可能在今年晚些时候向公众展示I/O2023。但现在,该公司似乎处于全面的恐慌状态,尽管Google之前淡化了ChatGPT对其搜索业务的威胁。鉴于ChatGPT也能在线回答各种问题,而不强迫用户在搜索结果中搜寻,随后的报道显示,ChatGPT正在迫使Google改变其战略。...PC版:https://www.cnbeta.com.tw/articles/soft/1341237.htm手机版:https://m.cnbeta.com.tw/view/1341237.htm

封面图片

科大讯飞推出大模型 董事长称语言理解等方面还落后ChatGPT

科大讯飞推出大模型董事长称语言理解等方面还落后ChatGPT中国语音智能公司科大讯飞董事长刘庆峰说,公司推出的大模型产品“星火认知大模型”在中文长文本生成、医疗领域的知识问答、数理能力等方面已经超过了ChatGPT,而在语言理解等方面还落后ChatGPT。据财新网报道,刘庆峰星期六(5月6日)在合肥举行的“星火认知大模型”成果发布会上说,“大模型都还在快速迭代过程中,即便是GPT-4很多问题仍然回答的不好,所以只是找单点例子来证明哪个系统强是没有意义的”。他并说,科大讯飞牵头设计的大模型评测体系覆盖了七大类和481个细分任务类型,七大类即长文本生成、语言理解、知识问答、逻辑推理、数学能力、代码生成、多模态输入和表达能力。科大讯飞研究院院长刘聪在发布会现场演示了“星火认知大模型”在这七大方面的能力。报道称,在演示中,该模型可以写文案、编故事,可以根据场景含义理解成语意思并给出针对性分析,并根据上下文逻辑推理;也可以解决基础的数学问题、生成简单代码;该模型还具备图片、语音等多模态的输入、输出能力。刘庆峰称,“星火认知大模型”在中文长文本生成、医疗领域的知识问答、数理能力等方面已经超过了ChatGPT,而在语言理解等方面还落后ChatGPT。他同时公布,将于6月9日升级该模型在开放式问答、多轮对话、数学能力,并于8月15日升级代码能力、多模态交互能力。刘庆峰说,“星火认知大模型”10月24日将在中文通用大模型上超过ChatGPT现有水平,英文和ChatGPT现有水平持平。另据报道,在此次发布会上,科大讯飞还公布了大模型能力带来的对于教育、办公等领域现有产品的功能升级。在教育领域,科大讯飞学习机借助该模型实现了批改作文、中英文口语对话的能力。在现场展示中,学习机产品可以通过拍照自动批改小学水平的中文作文及高考英语作文,可以实现指出错别字、语句修订、评分等功能。刘庆峰说:“我们也将把星火大模型的能力开放给开发者,我们会根据国家有关管理部门的要求严格的把控,而本次发布的各个领域的落地都是马上能用的,也是国家部委特别支持的。”

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人