OpenAI发表研究论文 介绍了一种逆向工程AI模型工作原理的方法

OpenAI发表研究论文 介绍了一种逆向工程AI模型工作原理的方法 在论文中，该公司的研究人员提出了一种窥探为 ChatGPT 提供动力的人工智能模型内部的方法。他们设计了一种方法来识别模型如何存储某些概念包括那些可能导致人工智能系统行为失常的概念。虽然这项研究使 OpenAI 在控制人工智能方面的工作更加引人注目，但也凸显了该公司最近的动荡。新研究由 OpenAI最近解散的"超对齐"团队完成，该团队致力于研究技术的长期风险。前小组的共同负责人伊利亚-苏茨克沃（Ilya Sutskever）和扬-莱克（Jan Leike）均已离开OpenAI，并被列为共同作者。苏茨克沃是OpenAI的创始人之一，曾任首席科学家，去年11月，董事会成员投票解雇了首席执行官山姆-奥特曼（Sam Altman），引发了几天的混乱，最终奥特曼重返领导岗位。ChatGPT 由一个名为 GPT 的大型语言模型系列提供支持，该模型基于一种被称为人工神经网络的机器学习方法。这些数学网络通过分析示例数据显示出了学习有用任务的强大能力，但它们的工作原理无法像传统计算机程序那样被轻易检查。人工神经网络中各层"神经元"之间复杂的相互作用，使得逆向分析 ChatGPT 这样的系统为何会得出特定的反应极具挑战性。这项工作背后的研究人员在一篇随附的博文中写道："与大多数人类创造物不同，我们并不真正了解神经网络的内部运作。一些著名的人工智能研究人员认为，包括 ChatGPT 在内的最强大的人工智能模型或许可以用来设计生化武器和协调网络攻击。一个更长期的担忧是，人工智能模型可能会选择隐藏信息或以有害的方式行事，以实现它们的目标。"OpenAI 的这篇新论文概述了一种技术，该技术借助额外的机器学习模型，识别代表机器学习系统内部特定概念的模式，从而稍稍降低了神秘感。创新的关键在于通过识别概念来完善用于窥探系统内部的网络，从而提高效率。OpenAI 通过在其最大的人工智能模型之一 GPT-4 中识别代表概念的模式证明了这种方法。该公司发布了与可解释性工作相关的代码，以及一个可视化工具，用于查看不同句子中的单词如何激活 GPT-4 和另一个模型中的概念，包括亵渎和色情内容。了解一个模型是如何表现某些概念的，这将有助于减少与不受欢迎的行为相关的概念，使人工智能系统保持正常运行。它还可以调整人工智能系统，使其偏向于某些主题或想法。尽管 LLM 无法被轻易解读，但越来越多的研究表明，它们可以被穿透，从而揭示出有用的信息。由亚马逊和Google支持的 OpenAI 竞争对手 Anthropic 上个月也发表了类似的人工智能可解释性研究成果。为了演示如何调整人工智能系统的行为，该公司的研究人员创造了一个痴迷于旧金山金门大桥的聊天机器人。有时，只需让人工只能机器人解释其推理过程，就能获得深刻的见解。东北大学从事人工智能可解释性研究的教授大卫-鲍（David Bau）在谈到 OpenAI 的新研究时说："这是令人兴奋的进展。"作为一个领域，我们需要学习如何更好地理解和审视这些大型模型。"鲍说，OpenAI 团队的主要创新在于展示了一种配置小型神经网络的更有效方法，该网络可用于理解大型神经网络的组成部分。但他也指出，这项技术还需要改进，以使其更加可靠。要利用这些方法创造出完全可以理解的解释，还有很多工作要做。"鲍是美国政府资助的一项名为"国家深度推理结构"（National Deep Inference Fabric）的工作的一部分，这项工作将向学术研究人员提供云计算资源，以便他们也能探索特别强大的人工智能模型。他说："我们需要想办法让科学家即使不在这些大公司工作，也能从事这项工作。"OpenAI 的研究人员在论文中承认，要改进他们的方法还需要进一步的工作，但他们也表示，希望这种方法能带来控制人工智能模型的实用方法。他们写道："我们希望有一天，可解释性能为我们提供推理模型安全性和鲁棒性的新方法，并通过为强大的人工智能模型的行为提供强有力的保证，大大增加我们对它们的信任。"阅读论文全文： ... PC版： 手机版：

13家媒体怒告OpenAl等AI巨头背后：内容创作为何成了大模型的“免费午餐”？

13家媒体怒告OpenAl等AI巨头背后：内容创作为何成了大模型的“免费午餐”？ 然而，对于到底“投喂”了什么数据，是否获取授权，这些AI公司总是讳莫如深。伯克利计算机科学家Stuart Russell等学者认为，大模型吞噬了大多数互联网信息，以复制人类智能并将其以自动化形式镜像回馈给我们。当意识到其网站上发布的故事都被自动抓取成了大模型的“食物”后，以《纽约时报》为首的媒体/出版机构向OpenAI等发起了版权诉讼。《每日经济新闻》记者在采访哈佛法学院教授丽贝卡•塔什内特、安杰世泽律师事务所合伙人于雯竹后了解到，此类案件判定的难点在于如何确定AI输出内容与媒体报道间的“实质性相似”。而另一方面，OpenAI等科技公司也向媒体/出版机构抛出了橄榄枝，因为数据总有耗光的一天。研究机构Epoch AI近期预测，大模型将在2026年至2032年之间消耗完所有可用数据。“应该大声要求赔偿” ！13家媒体发起反击2009年末，媒体大亨罗伯特•默多克曾在一场论坛上说：“有些人觉得他们有权拿走我们的新闻内容，还无需为新闻生产贡献一分钱。他们几乎侵吞了我们的全部新闻，这可不是合理使用。说得直白些，这就是偷。”当时，随着Google等新兴互联网公司的出现，美国报业的广告收入腰斩。而如今，OpenAI等生成式AI公司的强势崛起，类似的一幕似乎又开始重演。新闻集团首席执行官罗伯特•汤姆森就曾表示，“[媒体]的集体知识产权正受到威胁，我们应该大声要求赔偿。”新闻行业律师Steven Lieberman更是直言，OpenAI的巨大成功也要归功于其他人的工作，它在未经许可或付款的情况下获取了大量优质内容。据外媒，ChatGPT主要通过阅读书籍、文章和公开的网络内容来学习，包括来自互联网的在线新闻文章。类似的大语言模型也依赖的是社交媒体帖子、博客、数字化书籍、在线评论、维基百科页面以及您能想到的几乎所有的网络信息。在意识到ChatGPT对历史和时事的了解源自其网站上发布的故事（甚至是付费内容）时，去年年底，《纽约时报》对OpenAI以及微软提起诉讼，指控后者未经授权使用该报版权内容训练AI模型，并在ChatGPT产品中呈现给用户。该案打响了媒体机构起诉OpenAI的第一枪，随后又有多家媒体加入了这一反抗的队列。据《每日经济新闻》记者的不完全统计，截至今年6月底，已至少有13家新闻媒体机构对OpenAI和微软提起了侵权诉讼。这里面有Alden Global投资集团旗下的八家地区性知名报纸，包括芝加哥论坛报、纽约每日新闻、丹佛邮报、圣何塞水星报，还有数字新闻媒体The Intercept、Raw Story和AlterNet，以及非盈利新闻组织The Center for Investigative Reporting。图片来源：每经制图“判断这种数据抓取行为是否侵犯版权，是一个复杂且有争议的问题。”安杰世泽律师事务所合伙人、中国和美国纽约州执业律师于雯竹在接受每经记者采访时表示。这起诉讼只是各行业与生成式AI公司斗争的缩影。美国当地时间6月24日，全球三大唱片公司索尼音乐集团、环球音乐集团和华纳音乐联合多家唱片公司，向AI音乐生成公司Suno和Udio开发商Uncharted Labs发起诉讼，指控后者非法使用版权音乐来训练模型并提供服务。唱片公司指控Suno抄袭了662首歌曲，Udio抄袭了1670首歌曲，正在尝试索取每件音乐作品最高15万美元的赔偿费用。8个月的角力尚无结果：“实质性相似”还是“合理使用”？越来越多的关于生成式AI技术的法律之争也让人开始正视媒体/出版商与颠覆性技术之间的关系。据著名广告周刊Adweek，Google去年5月推出了基于AI的搜索引擎Search Generative Experience（SGE）测试版，接受采访的媒体高管和搜索引擎优化专家称，出版商必须为自然搜索流量的大幅下降做好准备，下降幅度可能在20%到60%之间。而出版商在开放网络上的搜索流量减少通常意味着数字广告收入下降。新型媒体公司Raptive创新执行副总裁Marc McCollum估计，在目前的SGE下，整个出版业每年的广告收入损失可能高达20亿美元。而《纽约时报》的起诉不仅是媒体领域的重要里程碑案件，亦可以为法律业界提供极具参考价值的信息。“就版权法而言，本案的重要影响在于版权法在数字和AI时代的适用范围。特别是对于新闻报道这类具有较高公共利益的文本内容，如何平衡版权保护和信息自由将成为一个关键问题。” 于雯竹对记者说道。在于雯竹看来， 如果《纽约时报》的诉讼获得成功，将树立一个重要的法律先例，鼓励其他文字类媒体、版权机构和作家团体组织跟随起诉OpenAI及类似的AI公司。本案可能会督促AI公司重视AI模型训练的合法性，可能推动相关行业规范的建立。目前，该案件已经持续将近8个月，但还没有定论。1）媒体之难：证明“实质性相似”《纽约时报》在起诉书中称，ChatGPT几乎逐字复制了其新闻报道。该报举例称，2019年，《纽约时报》发表了一篇荣获普利策奖的关于纽约市出租车行业掠夺性贷款的系列文章。该报称，只要稍加提示，ChatGPT就会一字不差地背诵其中的大部分内容。来源：《纽约时报》起诉书在其他多家媒体的起诉书中，记者发现，其法律论证和主张都基于美国1976年版权法和《数字千年版权法》（DMCA）。对于这两部法案中涉及AI的内容，于律师告诉记者，“就1976年版权法而言，侵权的判定通常依赖于原作品和被指控侵权作品之间的相似性，以及实际的复制行为。本案中实际复制行为相对容易证明，因为OpenAI并未否认其训练数据中包含《纽约时报》的文章。”然而难点在于，“证明最终生成的文本构成版权侵权仍需满足‘实质性相似’测试，因为它有助于判断受版权保护的表达元素是否被复制，还是仅复制了其中的思想。版权保护的是表达，而不是思想。你可以用自己的语言重新实现他人的思想，这不构成版权侵权。但如果你使用他人的语言即他们的表达那就是版权侵权。”于律师说道。谈及DMCA，于雯竹解释道：“其中的一项规定鼓励版权持有者在数字资产中添加内容管理信息（CMI），例如帮助识别创作者或权利持有者的信息，并禁止他人移除这些信息。”然而，《纽约时报》起诉书提到，OpenAI在抓取其文章以创建数据库时，移除了这些信息，违反了DMCA。来源：《纽约时报》起诉书“实际上，美国是判例法国家，而其版权法及DMCA并未特别规定与AI相关的法律内容，对于OpenAI的行为是否属于侵权的认定，法院依据的是相关的先例及其对相关法律条文的解释。”于雯竹表示。2）OpenAI的“盾牌”：“合理使用”而在回应《纽约时报》版权侵权诉讼时，OpenAI强调使用公开材料训练AI模型属于合理使用。这一规则基于美国1976年版权法第 107 条规定。哈佛法学院教授丽贝卡•塔什内特（Rebecca Tushnet）在接受《每日经济新闻》记者采访时认为，“美国版权法既提供了广泛的权利，也提供了广泛的例外。关键问题是AI训练是否构成‘合理使用’，以及当AI输出与现有作品过于相似时，该问题到底应该归咎于模型还是用户的滥用。”塔什内特认为，“OpenAI提供了有一个有趣的主张，即（AI）要获得高度相似的输出，必须故意用《纽约时报》原始文章中的大量引文来提示模型，这表明错误在于提示者（用户的滥用）。”“‘合理使用’是美国版权法的一项关键优势，使其能够应对不断变化的情况。它促成了我们所知道的现代互联网的兴起，尤其是搜索引擎。按照同样的推理，只要输出通常不是从特定作品中复制而来，创建AI模型就应该被视为变革性的和公平的。” 她对... PC版： 手机版：

AI程序员Devin卧底工作群修bug 还和CTO聊技术

AI程序员Devin卧底工作群修bug 还和CTO聊技术 事情发生在办公软件Slack，截图中的akshat是AI基础设施创业公司Modal Labs的CTO Akshat Bubna。Modal Labs也是Devin开发商Cognition的首批客户之一。此时Devin正披着他的创造者之一、IOI金牌得主Steven Hao的马甲。对话的开始，AI程序员Devin正在询问有关Modal Lab平台的密钥的生命周期问题，特别是密钥更新后传播到正在运行的应用程序所需的时间。Devin表示自己已经查阅了文档，包括密钥和环境变量指南、CLI命令参考、API参考以及容器生命周期钩子和参数，但依旧没有找到关于密钥传播时间的明确信息。Devin询问了更新的密钥通常需要多长时间才能被运行中的应用程序使用，因为这对于他们的运营至关重要，了解这一点将有助于管理他们的部署流程。人类CTO解释说，当密钥更新时，他们不会使已经运行的Modal容器失效，但是新启动的容器将会读取更新后的值。Devin对此表示感谢，并决定暂时采用手动方法来管理Modal中的密钥，即在需要时调用modal deploy命令来触发相关应用程序容器的重启。看完整个过程后，同样是AI创业者的Raunak Chowdhuri评价到：发现问题、创建工单、调整代码，最好的人类开发者就是这么工作的。Devin更多实测结果拿到Devin早期测试资格的人和公司并不多，不过还是陆陆续续有人晒出实测结果。热衷AI的沃顿商学院教授Ethan Molick试过后，认为其新颖的实时交互方式是最值得关注的。您可以随时与它“交谈”，就像与人交谈一样，它会在后台不断地执行和调试您的想法。在测试中，Ethan Mollick要求Devin开发一个解释“创业公司融资中的股权稀释”的网站。不过他透露，AI还无法在没有任何帮助的情况下，自主且无差错地完成这项工作。要想把一个重大项目交给人工智能来完成，还有很长的路要走，但这仍然是一个令人着迷的开始。另一位晒出测试过程的创业者Mckay Wrigley更激动一些。在他晒出的27分钟测试中，只发了一个GitHub连接，让Devin部署来自开源项目的代码。Devin自主把任务拆解成一系列子步骤，并一步步开始执行。执行过程中，Devin在安装Supabase数据库时遇到了障碍，自己打开了对应的Github仓库开始查阅文档……从后续终端反馈中可以看出，Devin查到了运行Supabase所需的各种端口和密匙都应该填什么。（装过的都知道，雀食挺麻烦……）与此同时，Devin还在根据实际情况不断修改自己的后续计划。一段时间过后，一个本地的聊天机器人程序就跑起来了。测试一段时间后Mckay Wrigley认为，Devin已经可以算Agent的ChatGPT时刻。复现Devin计划ingDevin这边大伙还在接连测试，另一边开源“复现”方案也在进行中……这不，GitHub三万Star项目MetaGPT就上新了“开源版Devin”。名为数据解释器（Data Interpreter）：同Devin一样，Data Interpreter也能实现自主编程，能迭代式观察数据，预测分析病情进展、机器运行状态；还能构建机器学习模型、进行数学推理、自动回复电子邮件、仿写网站……比如从英伟达股价数据中分析收盘价格趋势：分析数据预测葡萄酒质量：除此以外，阿里Qwen成员Binyan Hui等人开启了OpenDevin项目，刚刚起步已获得1.2k Star。Binyan Hui发推文表示，已有一个初步的路线图和一群优秀的人在努力工作，在很短的时间内就完成了前端原型。同时项目团队也在招新成员：另外，还一个名为Maisa AI的团队推出了Maisa KPU（Knowledge Processing Unit），被网友认为与Devin有一些竞争。目前Maisa KPU处于测试阶段，它可以解决复杂问题和推理，团队发布的基准测试结果如下：根据demo展示，KPU可以成为“智能客服”，在客户没有正确写好订单号的情况下，帮助客户解决订单未送达的问题：Devin基准测试技术报告发布最近，Devin创始团队Cognition还发布关于SWE-bench测试的技术报告。除了之前已公布的测试结果之外，团队还透露了一些新消息。比如，Cognition的目标之一是让Devin这个专门从事软件开发的AI智能体能够成功地为大型、复杂的代码库贡献代码。选择在SWE-bench上端到端运行智能体，也是考虑了它更接近现实世界的软件开发。此外，研发团队还透露，为了防止Devin在测试中作弊，比如查找外部的pull requests信息，测试已做相关设置，确保Devin无法访问相关信息，并且在此过程中也已人工手动检查了Devin运行情况。最后团队强调Devin仍处于起步阶段，还有很大改进空间：更多细节感兴趣的家人们可查看报告详情。Devin发布不到一周，网友们的讨论已十分热烈。比如，这位大兄弟表示自己一年前担心的事儿终究还是发生了。以后Stack Overflow上都是各种Devin在提问，人，就只能被挤出去（Stack Overflow危！！！）：有网友回应（手动狗头）：它们可以互相回答问题。还有网友发现Devin背后团队Cognition正在招全职软件工程师，于是缓缓打出一个问号：Devin不是应该填补这些职位空缺来为他们省钱吗？最后，若Devin公开你会想用它干点啥？参考链接：[1] ... PC版： 手机版：