在 arxiv.org 链接前面加上“talk2”,可直接针对论文内容进行问答(需要自备OpenAI key)| github

在arxiv.org链接前面加上“talk2”,可直接针对论文内容进行问答(需要自备OpenAIkey)Talk2Arxiv是专为学术论文PDF构建的开源RAG(检索增强生成)系统,由talk2arxiv服务器提供支持特征PDF解析:利用GROBID从PDF中高效提取文本。分块算法:用于最佳文本分块的定制算法。按逻辑部分(简介、摘要、作者等)进行分块,并且还利用递归细分分块(块为512个字符,然后是256个字符,然后是128个字符......)文本嵌入:使用Cohere的EmbedV3模型进行准确的文本嵌入。矢量数据库集成:使用Pinecone来存储和查询嵌入。这也可以缓存研究论文,因此论文只需要嵌入一次。上下文相关性:采用重新排名过程来根据用户输入选择最相关的内容。

相关推荐

封面图片

OpenAI 发布产品AI classifier

OpenAI发布产品AIclassifierAIclassifier是一个用于区分AI文本和人类文本的分类器,使用了大量针对同一话题的AI文稿和人类文稿进行数据训练。https://platform.openai.com/ai-text-classifierOpenAI强调了他们的分类器不完全可靠并列举了目前AIclassifier的局限性:1.在低于1000个字符的短文本上非常不可靠。更长文本有时也会被错误标记。2.有时会自信地把人类文本标记为AI文本。3.在英文以外语言的文本上表现很差。4.无法可靠地识别非常可预测文本。(例:无法辨别“前1000个素数的列表”来自AI还是人类,因为答案总是相同)5.经人类编辑后的AI文本可以规避分类器。(分类器可在成功判断的基础上进行更新与再训练)6.基于神经网络的AI对其训练集之外的数据校准得不好,分类器有时会对与训练集非常不同的输入有着十分自信的错误判断。投稿:@ZaiHuabot频道:@TestFlightCN

封面图片

OpenAI 发布产品 AI Classifier,能分辨人类与AI生成的文本

OpenAI发布产品AIClassifier,能分辨人类与AI生成的文本AITextClassifier是一个用于区分AI文本和人类文本的分类器,使用了大量针对同一话题的AI文稿和人类文稿进行数据训练。OpenAI强调他们的分类器不完全可靠并列举出目前AITextClassifier的局限性:1.在低于1000个字符的短文本上非常不可靠。更长文本有时也会被错误标记。2.有时会错把人类文本标记为AI文本。3.在英文以外语言的文本上表现很差。4.无法可靠地识别非常可预测文本。(例:无法辨别“前1000个素数的列表”来自AI还是人类,因为答案总是相同)5.经人类编辑后的AI文本可以规避分类器。(分类器可在成功判断的基础上进行更新与再训练)6.基于神经网络的AI对其训练集之外的数据校准得不好,分类器有时对与训练集差异较大的输入会得出十分确信但却错误的判断。该产品主页

封面图片

马斯克用微软论文当论据起诉OpenAI:你们自己早承认AGI了

马斯克用微软论文当论据起诉OpenAI:你们自己早承认AGI了去年论文发表时就引发不小关注,1年时间里被引次数已经高达1500次。马斯克的起诉书里写道,微软自己的科学家自己都承认了。这么看,OpenAI最新的一通回应不是啪啪自己打脸?还真不一定。这篇《SparksofAGI》当初爆火确实不假,但其中很大一部分热度来自争议。不少人觉得它不够严谨、在炒热度,而且这篇论文没有经过同行评议,只是上传到了arxiv,结果也无法复现。所以这篇论文到底说了啥?马斯克凭啥敢拿它大做文章?论文说了啥?这篇论文主要测试了GPT-4在2022年秋季的一个早期版本。研究提出,GPT-4不仅掌握语言能力,而且能解决复杂新奇的问题,任务可以跨数学、编码、医学、法律、视觉等。在这些任务中,GPT-4的表现接近于人类水平,大大超越以往LLM性能,比如ChatGPT。由此,研究给出了关键性结论:我们认为它可以被合理地视作一个早期版本(仍不完整)的AGI。在此基础上,研究团队还进一步探讨了真正意义上的AGI应该具备哪些要素。论文全篇超过150页,分别测试了GPT-4的多模态、代码、数学、常识等能力,通过大量实例得出结论。以测试代码能力为例,GPT-4和ChatGPT会得到同样的提示词,研究人员将会对回答结果进行分析。GPT-4的一些数据结果非常值得关注。比如在零样本下,GPT-4代码能力在HumanEval上的精度达到82%。再比如在现实问题问答中,GPT-4的表现也远好于ChatGPT。研究还讨论了GPT-4基于自回归架构表现出的局限性。比如模型本身具备相应的知识能力,但是却会回答错问题,因为预测下一个token的机制使得模型不能进行“内心对话”。最后,论文作者还提出了对AGI的一系列构想。这篇论文发表于GPT-4面世的一周后,当时引发业界巨大关注。“AGI的闪现”让不少人感叹,一切都结束了。但质疑也不少,很多人觉得这个结论是不是有点夸大其词了?而且研究团队承认使用的一些测试方法不够科学严谨,他们主要是想展示GPT-4卓越的能力。不过可以肯定的是,这篇论文成功把GPT-4和AGI强关联,给GPT-4创造了更多讨论热度,也成为AGI讨论热潮的重要推力。可是谁又能想得到,它现在倒成为马斯克起诉OpenAI的关键了。马斯克到底想干啥?马斯克搞事,总是醉翁之意不在酒。去年他和千名大佬共同呼吁暂停开发AI半年,结果转头自己囤卡、开搞大模型,火速成立AI初创公司xAI。今年起诉OpenAI,核心的目的就是督促其开源。号称GPT-4是AGI也是给OpenAI上道德压力。一方面要求他们开源,另一方面提出“AGI算法不应该授权给微软”。所以有人合理怀疑,这场官司“会让一切减速”。与此同时,马斯克的Grok也还在稳步推进中,目前已发布Grok-2。值得一提的是,去年OpenAI宫斗前后,马斯克曾在一场访谈中表示,从现在(23年12月)算起,AGI还有不到3年。但往小了说,写小说和JK罗琳一样好、能发现新物理规律或发明新技术的AI,从现在算起还有不到3年。当时他还表示觉得山姆·奥特曼很复杂。目前,OpenAI方面除了否认GPT-4是AGI外,还没有更多回应。有法律专家认为,马斯克列出的一系列观点,很难当成明确的条款来执行。“诉讼可能比较牵强”,但是提出了“强有力的政策论点”。有圈内大V还觉得马斯克这么干,有点吃不到葡萄说葡萄酸。马库斯则调侃说,马斯克这么做逼得OpenAI不得不承认自己没达到AGI,但是可以找第三方来承认。比如雇我这样的人来拯救他们。...PC版:https://www.cnbeta.com.tw/articles/soft/1422167.htm手机版:https://m.cnbeta.com.tw/view/1422167.htm

封面图片

用ChatGPT半小时写成本科论文“反ChatGPT”束手无策?

用ChatGPT半小时写成本科论文“反ChatGPT”束手无策?根据国外Study.com网站在今年1月向1000名18岁以上学生发起的调查显示,48%的学生用ChatGPT完成小测验,53%的学生用ChatGPT写论文。ChatGPT在撰写格式论文、通过专业考试等领域的惊艳表现,让学生们欢呼雀跃的同时,也让高校、研究机构等率先担忧和警惕起来,“反ChatGPT”在学术圈率先成为一股新趋势。近日,香港大学向师生发出内部邮件,表明禁止在港大所有课堂、作业和评估中使用ChatGPT或其他AI工具。如教师怀疑学生使用ChatGPT或其他AI工具,可要求学生就其作业进行讨论、进行额外口试及考试等措施。上周,《暨南学报(哲学社会科学版)》、《天津师范大学学报(基础教育版)》发布声明,提出暂不接受任何大型语言模型工具(例如:ChatGPT)单独或联合署名的文章。在美国和欧洲,更多高校和学术期刊等对ChatGPT的封杀通知出得更早一些。但是,单纯提出“封杀ChatGPT”就能杜绝论文抄袭和剽窃了吗?此前大热的“AI换脸”应用曾催生出一批“反AI换脸”的鉴别工具。现在,鉴别是否ChatGPT生成的论文,是否有可行的方法呢?聚焦在针对合成音视频的鉴别技术研发的瑞莱智慧(RealAI),其副总裁唐家渝向TechWeb表示,目前鉴别ChatGPT生成物的难点在于,机器与人类撰写的文本差异性特征较少,机器合成文本的结果无论从结构和语义角度都能较好地遵循人类书写的规则,同时一个真人说话的方式也可能是多变的、结构有误的,因此很难单纯从文本本身就鉴别出是否由ChatGPT生成。目前,RealAI针对合成文本的鉴别能力已在建设中,近期会有demo推出。数字水印用来“反ChatGPT”是一厢情愿在“反ChatGPT”的技术流中,数字水印技术一度被热炒。但是数字水印真能用来反ChatGPT吗?数字水印是一种可以用于保护文本、图像、音频和视频等数字内容不受未经授权的复制和分发的技术。数字水印可以将一些隐蔽的标识信息嵌入到数字内容中,这些标识信息通常不会对数字内容本身造成影响,但可以帮助鉴别数字内容的真实来源和版权信息。人们对用数字水印反ChatGPT有两种想象。一种是,对ChatGPT生成的内容打上数字水印,以标明这些内容是ChatGPT所写,实现反ChatGPT。但这需要ChatGPT等AI内容生成公司的配合,也就是他们愿意这么做。ChatGPT的开发商OpenAI此前曾表示在考虑通过对AI系统生成的内容加水印的方法来辅助辨别文本是否出自AI。不过截止目前并没有看到OpenAI采取该项行动。就算AI内容生成企业愿意在生成的内容中加入数字水印,但在相关行业专家看来,数字水印只是一个技术手段,不能解决所有的抄袭问题。有些人可能会使用各种方法来删除数字水印,或者通过改变一些单词或句子的顺序来规避数字水印的检测。AI生成内容通常是基于大量的训练数据和模型参数生成的。用数字水印反ChatGPT的另一种想象是,把内容打上数字水印标明版权身份,避免被ChatGPT等AI模型用于训练,从而防止被模仿和抄袭。但是这种想法多少有点一厢情愿。数字水印并不能完全保证内容不会被用于训练模型。一些不法分子可能会使用各种技术手段来尝试删除数字水印,或者通过对文章进行修改来绕过数字水印的检测。此外,一些不道德的人也可能会无视数字水印,盗用版权内容作为训练数据。“反ChatGPT”这些“神器”或可一用目前用于检测文章是否由AI生成的工具全球有几款,包括:OpenAIGPT-3Playground:由OpenAI开发的一个在线应用程序,用于测试和探索人工智能语言模型GPT-3的功能。在这个应用程序中,可以输入一些文本,并由GPT-3模型自动生成下一句话或者完整的文章。这个应用程序也可以用来测试一篇文章是否是由GPT-3等语言模型生成的。Grover:由AllenInstituteforArtificialIntelligence开发的一个用于检测虚假新闻和伪造的文章的工具。Grover可以分析一篇文章的语言风格和结构,并尝试区分由人类和人工智能生成的文章。这个工具还可以识别一些常见的伪造手段和技巧。AI21Writer’sStudio:AI21Labs开发的一个在线写作工具,可以为用户提供自动建议和编辑服务,帮助他们写出更加流畅和准确的文章。这个工具也可以用于检测一篇文章是否是由人工智能生成的。Botometer:由IndianaUniversity和UniversityofSouthernCalifornia联合开发的一个Twitter机器人检测工具。Botometer可以分析一个Twitter账号的活动和行为,判断其是否是由一个真实的用户或者一个自动化机器人管理的。上述这些工具都可以用于检测一篇文章或论文是否由人工智能生成的,但是需要注意的是,它们都不是百分之百准确的。因此,在评估一篇文章或论文是否AI所写时,最好结合多种方法和技巧,进行综合分析和判断。以ChatGPT为例,唐家渝向TechWeb提到,“辩别“ChatGPT”生成物一是利用好查重机制和技术,防止ChatGPT通过改写、总结等方式生成学术文章;二是从内容本身来说,ChatGPT目前还不能完全保证学术文章的逻辑严谨、主题一致,可以从语义层面加以辨别。”另外,从B站up主分享的ChatGPT写出的本科论文的情况来看,检查文章的来源和背景,如果这篇论文来自一个未知或者不可信的来源,就需要更加谨慎地对它进行评估了。关于ChatGPT可能引发的论文抄袭现象,前新东方在线COO潘欣则认为“这种担忧基本不需要。”“没有ChatGPT 的时候就没有抄论文、抄作业的了吗?可以信一点就行了,能用技术导致出现的问题,一定可以靠技术+行政手段解决掉。”在学生党看来,用ChatGPT写论文,里面数据,论据甚至引用的文献都是瞎编的,建议让ChatGPT做些辅助工作就好,比如给论文大纲或大致方向的建议等。也有学生认为需要自律,“反ChatGPT软件陆续上线,算法只会越来越完善,就算现在蒙混过关过关,但被查出来只是时间问题。”...PC版:https://www.cnbeta.com.tw/articles/soft/1345709.htm手机版:https://m.cnbeta.com.tw/view/1345709.htm

封面图片

爆火Sora震惊威尔·史密斯 OpenAI技术路线或早在1月被成功预言

爆火Sora震惊威尔·史密斯OpenAI技术路线或早在1月被成功预言你以为,上面是一年前的AI视频,下面是如今的AI视频?错!这个所谓AI生成的视频,其实正是威尔史密斯本人!威尔·史密斯吃意面这个“图灵测试”,曾让Runway、Pika等屡屡翻车。Runway生成的,是这样的——但如今,Sora已经做到了逼真似真人、毫无破绽,所以才让威尔史密斯成功骗过了大众,这太可怕了!Sora的出现,其实在今年1月就已被人预言1月5日,一位前阿里的AI专家表示——我认为,Transformer框架和LLM路线,将是AI视频的一个突破口和新范式,它将使AI视频更加连贯、一致,并且时长更长。目前的Diffusion+Unet路线(如Runway、Pika等),只是暂时的解决方案。无独有偶,斯坦福学者李飞飞在去年年底,就用Transformer就做出了逼真的视频。而马毅教授也表示,自己团队去年在NeurIPS一篇论文中也已经证实,用Transformer可以实现diffusion和denosing。马毅团队提出:假设数据分布是mixedGaussians,那Transformerblocks就是在实现diffusion/扩散和denoising/压缩能想到Sora技术路线的,肯定不止一个人。可是全世界第一个把Sora做出来的,就是OpenAI。OpenAI为何总能成功?无他,唯手快尔。Runway和Pika“点歪”的科技树,被OpenAI掰正了在此之前,Runway、Pika等AI视频工具吸引了不少聚光灯。而OpenAI的Sora,不仅效果更加真实,就是把Transformer对前后文的理解和强大的一致性,发挥得淋漓尽致。这个全新的科技树,可真是够震撼的。不过我们在开头也可以看到,OpenAI并不是第一个想到这个的人。Transformer框架+LLM路线这种新范式,其实早已有人想到了。就如同AI大V“阑夕”所言,OpenAI用最简单的话,把最复杂的技术讲清楚了——“图片只是单帧的视频。”科技行业这种从容的公共表达,真是前所未见,令人醍醐灌顶。“阑夕”指出,“图片只是单帧的视频”的妙处就在于,图片的创建不会脱离时间轴而存在,Sora实际上是提前给视频写了脚本的。甚至无论用户怎样Prompt,SoraAI都有自己的构图思维。而这,就是困住Runway、Pika等公司最大的问题。它们的思路,基本都是基于一张图片来让AI去想象,完成延伸和填补,从而叠加成视频。比拼的是谁家的AI更能理解用户想要的内容。因此,这些AI视频极易发生变形,如何保持一致性成了登天般的难题。DiffusionModel这一局,是彻底输给Transformer了。ChatGPT故事再次重演,Sora其实站在Google的肩膀上让我们深入扒一扒,Sora是站在哪些前人的肩膀上。简而言之,最大创新Patch的论文,是Google发表的。DiffusionTransformer的论文,来自WilliamPeebles和谢赛宁。此外,Meta等机构、UC伯克利等名校皆有贡献。WilliamPeebles和谢赛宁提出的框架纽约大学计算机系助理教授谢赛宁在分析了Sora的技术报告后表示,Sora应该是基于自己和WilliamPeebles提出的框架设计而成。这篇提出了Sora基础架构的论文,去年被ICCV收录。论文地址:https://arxiv.org/abs/2212.09748随后,WilliamPeebles加入了OpenAI,领导了开发Sora的技术团队。图灵三巨头之一、MetaAI主管LeCun,也转发了谢赛宁的帖子表示认可。巧合的是,谢赛宁是LeCun的前FAIR同事、现纽约大学同事,WilliamPeebles是LeCun的前伯克利学生、现任OpenAI工程师。AI果然是个圈。最近,谢赛宁对说自己是Sora作者的说法进行了辟谣CVPR“有眼不识泰山”,拒掉Sora基础论文有趣的是,DiffusionTransformer这篇论文曾因“缺乏创新性”被CVPR2023拒收,后来才被ICCV2003接收。谢赛宁表示,他们在DIT项目没有创造太多的新东西,但是两个方面的问题:简单性和可扩展性。这可能就是Sora为什么要基于DIT构建的主要原因。此前,生成模型的方法包括GAN、自回归、扩散模型。它们都有各自的优势和局限性。而Sora引入的,是一种全新的范式转变——新的建模技术和灵活性,可以处理各种时间、纵横比和分辨率。Sora所做的,是把Diffusion和Transformer架构结合在一起,创建了diffusiontransformer模型。这也即是OpenAI的创新之处。时空Patch是Google的创新时空Patch,是Sora创新的核心。它建立在GoogleDeepMind早期对NaViT和ViT(视觉Transformer)的研究之上。论文地址:https://arxiv.org/abs/2307.06304而这项研究,又是基于一篇2021年的论文“AnImageisWorth16x16Words”。论文地址:https://arxiv.org/abs/2010.11929传统上,对于视觉Transformer,研究者都是使用一系列图像Patch来训练用于图像识别的Transformer模型,而不是用于语言Transformer的单词。这些Patch,能使我们能够摆脱卷积神经网络进行图像处理。然而,视觉Transforemr对图像训练数据的限制是固定的,这些数据的大小和纵横比是固定的,这就限制了质量,并且需要大量的图像预处理。而通过将视频视为Patch序列,Sora保持了原始的纵横比和分辨率,类似于NaViT对图像的处理。这种保存,对于捕捉视觉数据的真正本质至关重要!通过这种方法,模型能够从更准确的世界表示中学习,从而赋予Sora近乎神奇的准确性。时空Patch的可视化GooglePatch的论文,发表于2021年。3年后,OpenAI基于这项技术,做出了Sora。这段历史看起来是不是有点眼熟?简直就像“AttentionIsAllYouNeed”的历史重演。2017年6月12日,8位Google研究人员发表了AttentionisAllYouNeed,大名鼎鼎的Transformer横空出世。它的出现,让NLP变了天,成为自然语言领域的主流模型。论文地址:https://arxiv.org/pdf/1706.03762.pdf它完全摒弃了递归结构,依赖注意力机制,挖掘输入和输出之间的关系,进而实现了并行计算。在Google看来,Transformer是一种语言理解的新型神经网络架构。不过它当初被设计出来,是为了解决翻译问题。而后来,Transformer架构被OpenAI拿来发扬光大,成为ChatGPT这类LLM的核心。2022年,OpenAI用Google17年发表的Transformer做出ChatGPT。2024年,OpenAI用Google21年发表的Patch做出Sora。这也让人不由感慨:诚如《为什么伟大不能被计划》一书中所言,伟大的成就与发明,往往是偏离最初计划的结果。前人的无心插柳,给后人的成功做好了奠基石,而一条成功的道路是如何踏出的,完全是出于偶然。Meta微软UC伯克利斯坦福MIT亦有贡献此外,从Sora参考文献中可以看出,多个机构和名校都对Sora做出了贡献。比如,用Transformer做扩散模型的去噪骨干这个方法,早已被斯坦福学者李飞飞证明。在去年12月,李飞飞携斯坦福联袂Google,用Transformer生成了逼真视频。生成的效果可谓媲美Gen-2比肩Pika,当时许多人激动地感慨——2023年已成AI视频元年,谁成想2024一开年,OpenAI新的震撼就来了!李飞飞团队做的,是一个在共享潜空间中训练图像和视频生成的,基于Transformer的扩散模型。史上首次,AI学者证明了:Transformer架构可以将图像和视频编码到一个共享的潜空间中!论文:https://walt-video-diffusion.github.io/assets/W.A.L.T.pdfMSRA和北大联合团队提出的统一多模态预训练模型——NÜWA(女娲),也为Sora做出了贡献。此前的多模态模型要么只能处理图像,要么只能处理视频,而NÜWA则可以为各种视觉合成任务,生成新的图像和视频数据。项目地址:https://github.com/microsoft/NUWA为了在不同场景下同时覆盖语言、图像和视频,团队设计了一个三维变换器编码器-解码器框架。它不仅可以处理作为三维数据的视频,还可以适应分别作为一维和二维数据的文本和图像。在8个下游任务中,NÜWA都取得了新的SOTA,在文本到图像生成中的表现,更是直接超越了DALL-E。NÜWA模型支持的8种典型视觉生成任务草蛇灰线,伏脉千里。踩在前人的肩膀上,通过敏锐的直觉和不眠不休的高强度工作,OpenAI的研究者...PC版:https://www.cnbeta.com.tw/articles/soft/1419363.htm手机版:https://m.cnbeta.com.tw/view/1419363.htm

封面图片

OpenAI推出ChatGPT“克星”:可识别文章是否人工智能代笔

OpenAI推出ChatGPT“克星”:可识别文章是否人工智能代笔ChatGPT这一工具是在去年11月份推出的,之后立刻在网络上火爆一时,受到使用者称赞欢迎。用户可以输入一些提示性命题文字,这一工具能够撰写各种文章、散文、笑话,甚至是诗歌。不过这一人工智能撰稿软件也引发了版权和抄袭方面的质疑。OpenAI公司新推出的产品名叫“AI分类器”(AIclassifier),这一软件使用的语言模型,经过了大量针对同一话题的人类文稿和人工智能文稿的数据训练,能够识别某一文稿到底是人类撰写还是人工智能软件生成。OpenAI公司介绍说,这一产品背后整合了来自多家供应商的技术,能够用于解决各种现实问题,比如软件机器人疯狂在社交媒体上传播虚假信息、以及学术论文撰写的不端行为。这款产品目前还处在测试版阶段,OpenAI公司表示,对于小于1000个字符的文章,工具的识别表现还不是太稳定。另外,人工智能撰写的文章经过人类编辑之后,可以欺骗AI分类器。该公司表示,将让社会公众使用这款新产品,希望能够从使用者那里获得一些反馈信息,即这样一款还不够完美的人工智能产品是否能够产生某些实际用途。该公司表示,在学校教育行业,开发团队意识到,要识别出学生利用人工智能软件代笔的文章是一个十分重要的课题,同样重要的是,需要弄清楚AI分类器对于学生文章识别判断存在哪些不足、将产生怎样的影响。自从ChatGPT在网络上受到热捧,并获得数百万用户点赞后,这引发了美国一些学区的警觉。包括纽约市在内的学区宣布,禁止学生使用这一人工智能撰稿工具,他们担心学生会使用这一工具撰写文章欺骗老师,或是进行抄袭剽窃。为了帮助老师和学校识别学生的文章是否是人工智能所撰写,行业内已经出现了第三方开发的识别工具,其中包括“GPTZeroX”。OpenAI表示,他们正在和教育行业积极沟通,讨论ChatGPT的用途或者局限性,并且将会继续开发完善识别人工智能所撰写文章的工具。...PC版:https://www.cnbeta.com.tw/articles/soft/1342045.htm手机版:https://m.cnbeta.com.tw/view/1342045.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人