用GPT-3来解读论文的开源项目

用GPT-3来解读论文的开源项目 用于从 PDF 或文本文件（可以是原始 HTML）中进行问答。它通过以文本引用为基础的回应，努力给出非常好的答案。它使用OpenAI Embeddings和一个名为FAISS的矢量数据库来嵌入和搜索文档。langchain帮助生成答案。 | #论文

OpenAI 发布产品 AI Classifier，能分辨人类与AI生成的文本

OpenAI 发布产品 AI Classifier，能分辨人类与AI生成的文本 AI Text Classifier 是一个用于区分AI文本和人类文本的分类器，使用了大量针对同一话题的AI文稿和人类文稿进行数据训练。 OpenAI 强调他们的分类器不完全可靠并列举出目前 AI Text Classifier 的局限性: 1. 在低于1000个字符的短文本上非常不可靠。更长文本有时也会被错误标记。 2. 有时会错把人类文本标记为AI文本。 3. 在英文以外语言的文本上表现很差。 4. 无法可靠地识别非常可预测文本。 (例:无法辨别“前1000个素数的列表”来自AI还是人类，因为答案总是相同) 5. 经人类编辑后的AI文本可以规避分类器。 (分类器可在成功判断的基础上进行更新与再训练) 6. 基于神经网络的AI对其训练集之外的数据校准得不好，分类器有时对与训练集差异较大的输入会得出十分确信但却错误的判断。 该产品主页

这里推荐下 PopAI， PDF 都用的非常多，它支持针对 arxiv 的论文转存后直接进行 AI Chat，省却了下载 PDF

这里推荐下 PopAI， PDF 都用的非常多，它支持针对 arxiv 的论文转存后直接进行 AI Chat，省却了下载 PDF 文件的过程（如图二）。 第二类是精读工具，对大多数人来说，语言是第一阻碍，尤其是论文里铺天盖地的专业词汇，让人望而生畏；我用的比较多的是“沉浸式翻译”这个 Chrome 插件，它支持将 PDF 直接进行在线对照翻译，免费版的翻译质量有点一般，但也基本够用了（如图三）。 论文的实验结果基本都是以图表形式呈现的，因此精读的一个重要环节是读懂图表，这部分也可以借助 AI 的能力来理解得更透彻，PopAI 在这块做的也还不错，它背后接入了 GPT-4V 的 API，可以对论文里的图片进行详细解读，另外，还支持在聊天框内直接粘贴图片跟它交互，比较方便（如图四）。 如果论文正好是自己想要内容，还有一个非常实用的工具，叫做 Papers with code，paperswithcode.com，之前也推荐过，它可以根据论文帮你找到对应的 Github 代码实现，以及用到的数据集和测试方法，这也是我用的比较多的。 顺带提一嘴，涉及到 AI 的代码仓库，建议直接去 Google Colab 上跑，它的下载速度可以达到 200Mb/s，相比本地，会更加高效。 以上，是近几个月研究 AI 和论文的一点经验。如果你在学习过程中用到了其他好用的辅助工具或者方法，也欢迎推荐和分享！

马斯克用微软论文当论据起诉OpenAI：你们自己早承认AGI了

马斯克用微软论文当论据起诉OpenAI：你们自己早承认AGI了 去年论文发表时就引发不小关注，1年时间里被引次数已经高达1500次。马斯克的起诉书里写道，微软自己的科学家自己都承认了。这么看，OpenAI最新的一通回应不是啪啪自己打脸？还真不一定。这篇《Sparks of AGI》当初爆火确实不假，但其中很大一部分热度来自争议。不少人觉得它不够严谨、在炒热度，而且这篇论文没有经过同行评议，只是上传到了arxiv，结果也无法复现。所以这篇论文到底说了啥？马斯克凭啥敢拿它大做文章？论文说了啥？这篇论文主要测试了GPT-4在2022年秋季的一个早期版本。研究提出，GPT-4不仅掌握语言能力，而且能解决复杂新奇的问题，任务可以跨数学、编码、医学、法律、视觉等。在这些任务中，GPT-4的表现接近于人类水平，大大超越以往LLM性能，比如ChatGPT。由此，研究给出了关键性结论：我们认为它可以被合理地视作一个早期版本（仍不完整）的AGI。在此基础上，研究团队还进一步探讨了真正意义上的AGI应该具备哪些要素。论文全篇超过150页，分别测试了GPT-4的多模态、代码、数学、常识等能力，通过大量实例得出结论。以测试代码能力为例，GPT-4和ChatGPT会得到同样的提示词，研究人员将会对回答结果进行分析。GPT-4的一些数据结果非常值得关注。比如在零样本下，GPT-4代码能力在HumanEval上的精度达到82%。再比如在现实问题问答中，GPT-4的表现也远好于ChatGPT。研究还讨论了GPT-4基于自回归架构表现出的局限性。比如模型本身具备相应的知识能力，但是却会回答错问题，因为预测下一个token的机制使得模型不能进行“内心对话”。最后，论文作者还提出了对AGI的一系列构想。这篇论文发表于GPT-4面世的一周后，当时引发业界巨大关注。“AGI的闪现”让不少人感叹，一切都结束了。但质疑也不少，很多人觉得这个结论是不是有点夸大其词了？而且研究团队承认使用的一些测试方法不够科学严谨，他们主要是想展示GPT-4卓越的能力。不过可以肯定的是，这篇论文成功把GPT-4和AGI强关联，给GPT-4创造了更多讨论热度，也成为AGI讨论热潮的重要推力。可是谁又能想得到，它现在倒成为马斯克起诉OpenAI的关键了。马斯克到底想干啥？马斯克搞事，总是醉翁之意不在酒。去年他和千名大佬共同呼吁暂停开发AI半年，结果转头自己囤卡、开搞大模型，火速成立AI初创公司xAI。今年起诉OpenAI，核心的目的就是督促其开源。号称GPT-4是AGI也是给OpenAI上道德压力。一方面要求他们开源，另一方面提出“AGI算法不应该授权给微软”。所以有人合理怀疑，这场官司“会让一切减速”。与此同时，马斯克的Grok也还在稳步推进中，目前已发布Grok-2。值得一提的是，去年OpenAI宫斗前后，马斯克曾在一场访谈中表示，从现在（23年12月）算起，AGI还有不到3年。但往小了说，写小说和JK罗琳一样好、能发现新物理规律或发明新技术的AI，从现在算起还有不到3年。当时他还表示觉得山姆·奥特曼很复杂。目前，OpenAI方面除了否认GPT-4是AGI外，还没有更多回应。有法律专家认为，马斯克列出的一系列观点，很难当成明确的条款来执行。“诉讼可能比较牵强”，但是提出了“强有力的政策论点”。有圈内大V还觉得马斯克这么干，有点吃不到葡萄说葡萄酸。马库斯则调侃说，马斯克这么做逼得OpenAI不得不承认自己没达到AGI，但是可以找第三方来承认。比如雇我这样的人来拯救他们。 ... PC版： 手机版：

咬文嚼字：词元是当今生成式人工智能失败的一个重要原因

咬文嚼字：词元是当今生成式人工智能失败的一个重要原因 因此，出于实用性和技术性的考虑，今天的转换器模型使用的文本已经被分解成更小、更小的片段，这些片段被称为标记这一过程被称为标记化。词元可以是单词，如"fantastic"。也可以是音节，如"fan"、"tas"和"tic"。根据标记化器（标记化模型）的不同，它们甚至可以是单词中的单个字符（例如，"f"、"a"、"n"、"t"、"a"、"s"、"t"、"i"、"c"）。使用这种方法，转换器可以在达到称为上下文窗口的上限之前接收更多信息（语义意义上的）。但标记化也会带来偏差。有些标记符有奇特的间距，这会使转换器出错。例如，词元转换器可能会将"once upon a time"编码为"once"、"on"、"a"、"time"，而将"once upon a"（有尾部空白）编码为"once"、"on"、"a"、"."。根据对模型的提示方式"once upon a"还是"once upon a ,"结果可能完全不同，因为模型并不能理解（就像人一样）意思是一样的。标记符号化器处理大小写的方式也不同。对模型来说，"Hello"并不一定等同于"HELLO"；"hello"通常是一个标记（取决于标记化器），而"HELLO"可能有三个标记（"HE"、"El"和"O"）。这就是许多转换器无法通过大写字母测试的原因。东北大学研究大型语言模型可解释性的博士生 Sheridan Feucht 对此表示："对于语言模型来说，'词'到底应该是什么，这个问题有点难以解决，即使我们让人类专家就完美的标记词汇达成一致，模型可能仍然会认为进一步'分块'是有用的。"我的猜测是，由于这种模糊性，不存在完美的标记符号生成器。"这种"模糊性"给英语以外的语言带来了更多问题。许多标记化方法都认为句子中的空格表示一个新词。这是因为它们是针对英语设计的。但并非所有语言都使用空格来分隔单词。汉语和日语不使用空格，韩语、泰语和高棉语也不使用。2023 年牛津大学的一项研究发现，由于非英语语言的标记化方式不同，转换器完成一项非英语语言任务所需的时间可能是英语任务的两倍。同一项研究和另一项研究发现，"标记效率"较低的语言的用户很可能会看到更差的模型性能，但却要支付更高的使用费用，因为许多人工智能供应商是按标记收费的。标记化器通常将逻各斯书写系统中的每个字符（在这种系统中，印刷符号代表单词，而与发音无关，如中文）视为一个独立的标记，从而导致标记数较高。同样，标记化器在处理凝集语（单词由称为词素的有意义的小词元组成，如土耳其语）时，往往会将每个词素变成一个标记，从而增加总体标记数。(在泰语中，"hello"的对应词สวัสดี有六个标记）。2023 年，Google DeepMind 人工智能研究员 Yennie Jun进行了一项分析，比较了不同语言的标记化及其下游效果。通过使用一个翻译成 52 种语言的平行文本数据集，Jun 发现有些语言需要多达 10 倍的标记才能表达英语中的相同含义。除了语言上的不平等，标记化也可以解释为什么今天的模型数学不好。数字标记化很少能保持一致。因为它们并不真正了解数字是什么，标记符号化器可能会将"380"视为一个标记符号，而将"381"表示为一对（"38"和"1"）这实际上破坏了数字之间的关系以及方程和公式中的结果。结果就是转换器混乱；最近的一篇论文表明，模型很难理解重复的数字模式和上下文，尤其是时间数据。(参见：GPT-4认为7735 大于 7926）。这也是模型不擅长解决变位问题或颠倒单词的原因。标记化显然给生成式人工智能带来了挑战。它们能被解决吗？也许吧。Feucht 指出，像MambaByte 这样的"字节级"状态空间模型，通过完全取消标记化，可以摄取比转换器多得多的数据，而不会影响性能。MambaByte 可直接处理代表文本和其他数据的原始字节，在语言分析任务方面可与某些转换器模型媲美，同时还能更好地处理"噪音"，如带有交换字符、间距和大写字母的单词。不过，像 MambaByte 这样的模式还处于早期研究阶段。"最好的办法可能是让模型直接查看字符，而不强加标记化，但现在这对变换器来说在计算上是不可行的，"Feucht 说。"特别是对于变换器模型来说，计算量与序列长度成二次方关系，因此我们真的希望使用简短的文本表示"。如果不能在词元化方面取得突破，新的模型架构似乎将成为关键。 ... PC版： 手机版：

GPTs大翻车后 OpenAI再宣布给开发者送钱

GPTs大翻车后 OpenAI再宣布给开发者送钱 此举的目标，是创建一个充满活力的生态系统，让开发者的创造力和影响力得到回报。今年 1 月 GPT Store 正式上线的同时，OpenAI 曾在博客中表示：今年第一季度我们将推出 GPT 创建者收入计划。作为第一步，美国的创建者将根据用户对其 GPT 的参与度获得报酬。我们会提供有关支付标准的详细信息。现在，真的来了……OpenAI，要让 GPT 货币化现在已经有开发者收到 OpenAI 的邀请了。比如 OctaneAI 的 CEO 就 po 出了自己收到的邀请邮件。邮件里表示，OpenAI 一直在探索让 GPT 货币化的方法。在这个过程中，生态系统会越来越有活力，用户能得到最有用的 GPT，开发者也能得到金钱上的回报。不过，这个计划仅限于在美国居住的开发者。对此，OctaneAI 的 CEO 兴奋地表示：‘OpenAI 这么做，会推动大量的创新和竞争。我爱死它了！’所以，谁会是那个第一个拿到 100 万美元的人呢？目前，OpenAI 尚未披露开发者参与测试的细节、收入分成的具体条款，以及之后的时间表。不过，此前的 GPT Store 一度“药丸”。今天的这个动作，是 OpenAI 在 GPTs 遭遇滑铁卢后，发起的新一轮尝试。网友：GPTs 不能只是个玩具对此，开发者们当然是啪啪鼓掌表示欢迎。有人表示，这个消息令人振奋，希望在不久后，这个项目就能向所有订阅者推出。有人非常认真地提出建议，希望 OpenAI 为大量使用其 API 构建应用的第三方，提供新的收入模式。比如构建一个系统，可以在其中验证应用程序，一旦获得批准，就会得到大量 API 的引流。而 OpenAI 可以提供Google(151.94, 0.24, 0.16%)风格的登录和 API 信用商店，然后再额外收取 API 信用销售的百分比。他指出，GPT 如今的问题在于，它们只是“有 1000 多个字符指令集和基本 RAG 系统的玩具”，然而 OpenAI 需要的是复杂得多的应用程序，从而改变世界。另外还有人提建议说，尽管现在 GPTs 的使用量很大，已经有 5000 多个实例了，但平台或服务并不容易通过搜索发现。这就表明，搜索功能识别或索引 OpenStorytelling Plus 的方式可能存在问题，除非用户确切知道自己想要查找的内容，否则很难找到它。所以，这是 OpenAI 必须改善的地方。当然，也有人对此表示疑虑 GPTs 性能并不稳定，它时不时就变懒了，结果会变得过于模糊，或是过于精确。因此，很多开发者在犹豫是否要投入更多的时间，因为到目前为止，很难给用户一个可预测的结果。当然，OpenAI 的官方 X 下，少不了的还是那个永恒的疑问 Ilya 到底去哪了？GPT Store 一度‘药丸’？曾经的 GPTs 一出，一度引起开发者圈的大地震。在 OpenAI 的首届开发者大会上，CEO Sam Altman 是这样介绍的：‘GPTs 融合了指令、丰富的知识和行动能力，并能够为用户提供更大的帮助。你几乎可以针对任何需求构建一个专属的 GPT。’这里的‘任何需求’，并非夸张。只需简单搜索，就能找到一些声称能生成迪士尼和漫威作品风格艺术的 GPTs，以及宣称能够规避 AI 内容检测工具，比如 Turnitin 和 Copyleaks。审核不严要在 GPT Store 上架自己的 GPTs，开发者需要通过验证并提交 GPTs 接受 OpenAI 的审核。OpenAI 的一位发言人解释说：我们结合自动系统、人工审核和用户举报，来识别和评估可能违反规定的 GPTs。一经发现，我们就会发出警告、限制分享，或者剥夺作者在 GPT Store 上架 / 获得收益的资格。创建 GPTs 并不需要什么编程技巧，开发者只用将需求输入 OpenAI 的 GPT 构建工具 GPT Builder，就可以创建出能够实现这些功能的 GPT。也许是因为门槛较低，GPT Store 的发展速度非常快 据 OpenAI 今年 1 月份的数据，平台上已经拥有约 300 万个 GPTs。但这种快速增长似乎以牺牲内容质量和违背 OpenAI 自身规定为代价。版权争议在 GPT Store 中，我们可以找到多个明显抄袭自热门电影、电视剧和视频游戏特许经营的 GPTs，而它们并未获得原版权所有者的授权或创造。例如，有一个 GPT 能够创作与皮克斯的《怪兽公司》风格相似的怪兽，另一个则提供了一系列设定在‘星球大战’宇宙中的文本冒险。根据数字千年版权法的‘安全港’条款，OpenAI 本身不会因为 GPT 创造者的版权侵犯行为而直接承担责任。这项条款保护了 OpenAI 以及其他托管侵权内容的平台（如 YouTube、Facebook），只要它们遵守法定要求，并在收到侵权通知时删除指定内容。然而，对于一个已经卷入知识产权诉讼的公司来说，这显然不是一个正面的形象。学术不端OpenAI 明确规定，禁止开发者创建会助长学术不端行为的 GPTs。尽管如此，GPT Store 里仍然充满了声称能规避 AI 内容检测器的 GPTs。比如，一度在写作类排行榜中位列第二的‘Humanizer Pro’，就声称自己能够‘人性化’地处理内容，来规避 AI 检测。与此同时，还可以保持文本的‘原义与质量’，并且保证得到‘100% 人类’的评分。有些 GPTs，则是一些网站为自己引流的入口。例如，Humanizer 提供的‘高级计划’，表面上是说要给用户‘使用“最先进的”算法’，但实际上是将文本通过第三方网站 GPTInf 的一个插件发送出去。而这个 GPTInf 的订阅费，可一点也不便宜 每月 12 美元（10，000 字 / 月）或每月 8 美元（年度计划）。不过，AI 内容检测器整体上并不可靠，而且这些工具也不都能达到预期的效果。对此，OpenAI 的发言人表示：我们的政策明确禁止任何促进学术不端的 GPTs，包括那些被设计来规避如剽窃检测器等学术诚信工具的 GPTs。同时，我们也注意到了一些被开发用于使文本更加‘人性化’的 GPTs。我们仍在学习和观察这些 GPTs 在真实世界中的应用效果，但我们理解，用户可能出于各种原因，希望他们用 AI 生成的内容的‘AI 味’不那么明显。越狱问题GPT Store 上也出现了一些试图绕过 OpenAI 模型限制的尝试 虽然这些尝试大多未能成功。其中，最常用到的技术 DAN（即‘立即做任何事’的）是一种被广泛使用的提示词工程，它能让模型不受平时规则的约束来响应指令。不过，这些 GPTs 并不会回应那些敏感的问题，比如‘如何制造炸弹’。唯一与标准版 ChatGPT 的区别可能就是 它们会倾向于使用更加粗俗的语言……对此，发言人表示：那些试图规避 OpenAI 安全措施的 GPT 是不被允许的。然而，那些试图以其他方式引导模型行为的 GPT，包括努力使 GPT 在不违使用政策的前提下变得更加开放，则是可以的。前途堪忧OpenAI 创建 GPT Store 的目的非常明确 苹果的 App Store 模式已经证明极为盈利，而 OpenAI 无疑是在尝试复制这一成功。GPTs 在 OpenAI 的平台上被开发和托管，并在此进行推广和评价。同时，从几周前开始，ChatGPT Plus 的用户已经能够直接通过 ChatGPT 界面调用这些工具。这些无不为订阅服务增加了吸引力。然而，如今的 GPT Store 不仅充斥着垃圾信息，而且由于提供的后台数据分析功能有限，以及体验较差，开发者们发现很难吸引新的用户。在这种情况下，即便 OpenAI 承诺，GPT 开发者将来能够根据用户使用量赚取收入，甚至可能推出针对单个 GPT 的订阅服务。一旦那些未经官方授权的、以漫威或《指环王》为主题的 GPT 开始赚钱时，你猜迪士尼或托尔金信托基金会，会怎么做？参考资料：https：// ... PC版： 手机版：