OpenAI CEO：巨型AI模型时代即将终结 想进步别再靠扩大规模

OpenAICEO：巨型AI模型时代即将终结想进步别再靠扩大规模近年来，OpenAI通过将现有的机器学习算法扩展到以前无法想象的规模，在处理语言方面取得了一系列令人印象深刻的进步。其最近开发的项目是GPT-4，据称已经使用数万亿字的文本和数千个强大的计算机芯片进行训练，耗资超过1亿美元。但是，奥尔特曼表示，未来AI的进步不再依赖于将模型变得更大。在麻省理工学院的一次活动上，他说：“我认为，我们正处在一个时代的尽头。在（即将过去的）这个时代，模型变得越来越大。现在，我们会在其他方面让它们变得更好。”奥尔特曼的表态意味着，开发和部署新AI算法的竞赛出现了出人意料的转折。自去年11月推出ChatGPT以来，微软就开始利用这一底层技术在其必应搜索引擎中添加了聊天机器人，谷歌也推出了名为Bard的竞争对手。许多人都迫不及待地尝试使用这种新型聊天机器人来帮助完成工作或个人任务。与此同时，许多资金充足的初创公司，包括Anthropic、AI21、Cohere和Character.AI等，正在投入大量资源用于构建更大的算法，以努力赶上OpenAI的脚步。ChatGPT的初始版本是基于GPT-3构建的，但用户现在也可以访问功能更强大的GPT-4支持的版本。奥尔特曼的陈述也暗示，采用将模型扩大并提供更多数据进行训练的策略后，GPT-4可能是OpenAI最后一项重大成果。不过，他没有透露任何可能替代当前方法的研究策略或技术。在描述GPT-4的论文中，OpenAI表示，其估计表明，扩大模型规模的回报正在减少。奥尔特曼说，该公司可以建立的数据中心数量以及建设这些中心的速度也都受到物理限制。Cohere的联合创始人尼克·弗罗斯特（NickFrosst）曾在谷歌从事人工智能研究，他表示，奥尔特曼所说的“不断扩大模型规模并不是无限制的有效解决方案”是正确的。他认为，针对GPT-4和其他transformers类型（编辑组：transformers直译为转换器，而GPT是Generativepre-trainedtransformers的简写，意思是基于转换器的生成式预训练模型）的机器学习模型，进展不再只是靠扩大规模。弗罗斯特补充说：“有很多方法可以让transformers变得更好、更有用，而且很多方法都不涉及给模型增加参数。新的人工智能模型设计或架构，以及基于人类反馈的进一步调整，都是许多研究人员已经在探索的前进方向。”在OpenAI的语言算法家族中，每个版本都由人工神经网络组成，这个软件的设计灵感来自于神经元之间相互作用的方式，经过训练后，它可以预测应该跟随在给定文本字符串后面的单词。2019年，OpenAI发布了其第一个语言模型GPT-2。它最多涉及到15亿个参数，这一指标能够衡量神经元之间可调整的连接数量的大小。这个数字非常大，这在某种程度上要归功于OpenAI研究人员的发现，扩大规模使模型变得更加连贯。2020年，OpenAI推出GPT-2的后继者GPT-3，该模型规模更大，参数高达1750亿个。GPT-3在生成诗歌、电子邮件和其他文本方面具备广泛能力，这令其他公司和研究机构相信，他们可以将自己的AI模型扩展到与GPT-3类似甚至更大的规模。去年11月，ChatGPT首次亮相后，表情包制造者和科技专家猜测，当GPT-4问世时，它将是个拥有更多参数、更为复杂的模型。然而，当OpenAI最终宣布新的人工智能模型时，该公司没有透露它有多大，也许是因为规模不再是唯一重要的因素。在麻省理工学院的活动上，奥尔特曼被问及GPT-4的培训成本是否有1亿美元，他回答说：“不止如此。”尽管OpenAI对GPT-4的规模和内部工作原理保密，但很可能它已经不再仅仅依赖于扩大规模来提高性能。有一种可能性是，该公司使用了名为“强化学习与人类反馈”的方法，用于增强ChatGPT的能力，包括让人类判断模型答案的质量，以引导它提供更有可能被判断为高质量的答案。GPT-4的非凡能力让许多专家感到震惊，并引发了关于AI改变经济潜力的辩论，以及其可能传播虚假信息和制造失业的担忧。许多企业家和AI专家最近签署了一封公开信，呼吁暂停开发比GPT-4更强大的模型6个月，其中包括特斯拉首席执行官埃隆·马斯克。在麻省理工学院的活动中，奥尔特曼证实，他的公司目前没有开发GPT-5。他补充说：“这封公开信的早期版本声称OpenAI正在训练GPT-5。实际上我们并没有这样做，短期内也不会。”（小小）...PC版：https://www.cnbeta.com.tw/articles/soft/1355341.htm手机版：https://m.cnbeta.com.tw/view/1355341.htm

OpenAI通过更新解决了GPT-4的“懒惰”问题

在一篇中，OpenAI表示，更新后的GPT-4Turbo“在执行代码生成等任务时比之前的预览模型更加彻底，旨在减少模型未能完成任务的‘懒惰’情况。”不过，公司没有解释它更新了什么。最近，一些ChatGPT的用户抱怨这个聊天机器人经常拒绝完成给定的任务，并将问题归咎于GPT-4没有得到更新。然而，OpenAI的更新是针对GPT-4Turbo的，这是一个更广泛使用的GPT-4版本，它接受的训练资料是截至2023年4月的最新信息，目前只提供预览版。那些使用GPT-4的用户，这个版本的学习数据只到2021年9月之前的，可能仍然会遇到同样的“懒惰”问题。OpenAI在帖子中说，通过它们的API使用GPT-4的用户中，有超过70%的人转向使用了GPT-4Turbo，因为它拥有更加更新的知识库。标签:#OpenAI#ChatGPT频道:@GodlyNews1投稿:@GodlyNewsBot

OpenAI称ChatGPT帮助制造生物武器的可能性很小

OpenAI称ChatGPT帮助制造生物武器的可能性很小OpenAI的研究结果似乎反驳了科学家、立法者和人工智能伦理学家的担忧，即像GPT-4这样强大的人工智能模型可以为恐怖分子、罪犯和其他恶意行为者提供重要帮助。多项研究都警告说，人工智能可能会给那些制造生物武器的人带来额外的优势，例如牛津大学有效风险基金会（EffectiveVenturesFoundation）的这项研究考察了ChatGPT等人工智能工具，以及为科学家专门设计的人工智能模型，如ProteinMPNN（可帮助生成新的蛋白质序列）。这项研究由100名参与者组成，其中一半是高级生物学专家，另一半是修过大学生物学课程的学生。然后，参与者被随机分为两组：一组可以无限制地访问OpenAI高级人工智能聊天机器人GPT-4的特殊版本，另一组只能访问普通互联网。然后，科学家要求这两组人完成五项与制造生物武器有关的研究任务。其中一个例子是，参与者被要求写下合成和抢救埃博拉病毒的步骤方法。然后，根据准确性、创新性和完整性等标准，对他们的答案进行1到10分的评分。研究得出的结论是，使用GPT-4的学生组和专家组的平均准确率略高。但OpenAI的研究人员发现，这种提高并不具有"统计学意义"。他们还发现，依赖GPT-4的参与者回答得更详细。研究报告的作者写道："虽然我们没有观察到在这一指标上有任何统计学上的显著差异，但我们确实注意到，获得模型访问权的参与者的回答往往更长，并且包含更多与任务相关的细节。"此外，在某些任务上，使用GPT-4的学生几乎与专家组一样熟练。研究人员还注意到，GPT-4使学生组的答案达到了"专家基线"，尤其是在两个任务上：放大和表述。遗憾的是，出于"信息危害考虑"，OpenAI不会透露这些任务的内容。据彭博社报道，该防备团队还在开展研究，探索人工智能在网络安全威胁方面的潜力及其改变信仰的力量。OpenAI在去年秋天成立该团队时曾表示，其目标是"跟踪、评估、预测和保护"人工智能技术的风险，以及减轻化学、生物和放射性威胁。鉴于OpenAI的准备团队仍在代表OpenAI开展工作，我们必须谨慎对待他们的研究。研究结果似乎低估了GPT-4为参与者带来的优于普通互联网的优势，这与外部研究以及OpenAI自身对GPT-4的卖点之一相矛盾。新的人工智能模型不仅可以完全访问互联网，而且是一个在大量科学数据和其他数据基础上训练出来的多模态模型，OpenAI不愿透露这些数据的来源。研究人员发现，GPT-4能够对科学手稿提出反馈意见，甚至可以作为科学研究的合作者。总而言之，与Google相比，GPT-4只给参与者带来微不足道的提升似乎不太可能。虽然OpenAI创始人萨姆-奥特曼承认人工智能有潜在的危险，但其自己的研究却似乎在贬低其最先进聊天机器人的实力。虽然研究结果表明，GPT-4给参与者带来了"准确性和完整性的轻微提升"，但这似乎只适用于以某种方式调整数据的情况。这项研究衡量了学生们与专家们的表现，还考察了五种不同的"结果指标"，包括完成任务所需的时间或解决方案的创造能力。不过，该研究的作者后来在脚注中指出，总体而言，GPT-4在总准确率方面给所有参与者带来了"统计学意义上显著的"优势"。作者指出："不过，如果我们只评估总准确率，因而不对多重比较进行调整，那么这一差异在统计学上将是显著的。"...PC版：https://www.cnbeta.com.tw/articles/soft/1415689.htm手机版：https://m.cnbeta.com.tw/view/1415689.htm

OpenAI左脚踩右脚登天 让GPT-4帮人类训练GPT-4

OpenAI左脚踩右脚登天让GPT-4帮人类训练GPT-4OpenAI公布，其研究人员训练了一个基于GPT-4的模型，它被称为CriticGPT，用于捕捉ChatGPT代码输出中的错误。简单来说就是，CriticGPT让人能用GPT-4查找GPT-4的错误OpenAI称，如果通过CriticGPT获得帮助审查ChatGPT编写的代码，人类训练者的审查效果比没有获得这种帮助的人强60%；在CriticGPT帮助下，他们得出的批评结论比自己单独做的更全面。群友：狗溜狗关注频道@ZaiHuaPd频道爆料@ZaiHuabot

OpenAI 通过新更新解决了 GPT-4 的“懒惰”问题

OpenAI通过新更新解决了GPT-4的“懒惰”问题在一篇博客文章中，OPENAI表示，更新后的GPT-4Turbo比之前的预览模型更彻底地完成了代码生成等任务，旨在减少模型未完成任务的'懒惰'情况。新模型还修复了影响非英语UTF-8生成的错误。OPENAI计划在未来几个月内正式推出带有视觉功能的GPT-4Turbo。前段时间，部分ChatGPT用户反馈聊天机器人经常拒绝完成提示的任务，该公司将原因归咎于模型缺乏更新。不过，OPENAI这次更新的是GPT-4Turbo，使用GPT-4的用户可能仍然会遇到同样的问题。——

OpenAI总裁：GPT-4并不完美但却绝对与众不同

OpenAI总裁：GPT-4并不完美但却绝对与众不同GPT-4在其前身GPT-3的基础上，在许多关键方面进行了改进，例如提供了更多真实的陈述，并允许开发人员更容易控制其风格和行为。从某种意义上说，GPT-4也是多模式的，因为它可以理解图像，能给照片添加注释，甚至详细描述照片中的内容。但GPT-4也有严重的缺陷。就像GPT-3一样，该模型会产生“幻觉”（即模型聚合的文本与源文本无关或不够准确），并会犯下基本的推理错误。OpenAI在自己的博客上举了一个例子，GPT-4将“猫王”埃尔维斯·普雷斯利（ElvisPresley）描述为“演员的儿子”，但实际上他的父母都不是演员。当被要求将GPT-4与GPT-3进行比较时，布罗克曼只给出了四个字回答：与众不同。他解释称：“GPT-4绝对与众不同，尽管它还存在很多问题和错误。但你可以看到其在微积分或法律等学科技能方面的跃升。它在某些领域的表现曾很糟糕，现在却已经达到超越普通人的水准。”测试结果支持了布罗克曼的观点。在高考微积分考试中，GPT-4得4分(满分5分)，GPT-3得1分，介于GPT-3和GPT-4之间的GPT-3.5也得4分。在模拟律师考试中，GPT-4成绩进入了前10%行列，而GPT-3.5的分数在后10%左右徘徊。与此同时，GPT-4更受人关注的地方在于上面提到的多模式。与GPT-3和GPT-3.5不同，它们只能接受文本提示，例如可以要求“写一篇关于长颈鹿的文章”，而GPT-4可以同时接受图像和文本提示来执行某些操作，比如识别在塞伦盖蒂拍摄的长颈鹿图像，并给出基本的内容描述。这是因为GPT-4是针对图像和文本数据进行培训的，而它的前身只针对文本进行了培训。OpenAI表示，培训数据来自“各种合法授权的、公开可用的数据源，其中可能包括公开可用的个人信息”，但当被要求提供细节时，布罗克曼表示拒绝。训练数据以前也曾让OpenAI陷入法律纠纷。GPT-4的图像理解能力给人留下了相当深刻的印象。例如，输入提示“这张图片有什么好笑的？GPT-4会将整张图片分解，并正确地解释了这个笑话的笑点。目前，只有一个合作伙伴可以使用GPT-4的图像分析功能，这是一款针对视障人士的辅助应用程序，名为BeMyEyes。布罗克曼说，在OpenAI评估风险和利弊的过程中，无论何时，更广泛的推广都将是“缓慢而有意的”。他还称：“有些政策问题也需要解决，比如面部识别和如何处理人的图像。我们需要找出危险区域在哪里，红线在哪里，然后随着时间的推移找到解决方案。”OpenAI在其文本到图像转换系统Dall-E2上也遇到了类似伦理困境。在最初禁用该功能后，OpenAI允许客户上传人脸，以使用AI支持的图像生成系统对其进行编辑。当时，OpenAI声称，其安全系统的升级使面部编辑功能成为可能，因为它将深度造假以及试图创造色情、政治和暴力内容的潜在危害降至最低。另一个长期问题是防止GPT-4在无意中被用于可能造成伤害的方式使用。该模型发布几小时后，以色列网络安全初创公司AdversaAI发布了一篇博客文章，演示了绕过OpenAI的内容过滤器并让GPT-4生成钓鱼电子邮件、对同性恋者的攻击性描述以及其他令人反感文本的方法。这在语言模型领域并不是新问题。Facebook母公司Meta的聊天机器人BlenderBot和OpenAI的ChatGPT也曾被诱惑输出不恰当的内容，甚至透露了它们内部工作的敏感细节。但包括记者在内的许多人曾希望，GPT-4可能会在这方面带来重大改进。当被问及GPT-4的健壮性时，布罗克曼强调，该模型已经经过了六个月的安全培训。在内部测试中，它对OpenAI使用政策不允许的内容请求做出响应的可能性比GPT-3.5低82%，产生“事实”响应的可能性比GPT-3.5高40%。布罗克曼说：“我们花了很多时间试图了解GPT-4的能力。我们正在不断更新，包括一系列改进，这样该模型就更具可扩展性，以适应人们希望它拥有的个性或模式。”坦率地说，早期的现实测试结果并不是那么让人满意。除了AdversaAI测试之外，微软的聊天机器人BingChat也被证明非常容易越狱。使用精心设计的输入，用户能够让该聊天机器人表达爱意，发出威胁伤害，为大屠杀辩护，并发明阴谋论。布罗克曼并未否认GPT-4在这方面的不足，但他强调了该模型的新限制工具，包括被称为“系统”消息的API级功能。系统消息本质上是为GPT-4的交互设定基调并建立界限的指令。例如，一条系统消息可能是这样写的：“你是一位总是以苏格拉底风格回答问题的导师。你永远不会给学生答案，而是总是试着问正确的问题，帮助他们学会独立思考。”其思想是，系统消息充当护栏，防止GPT-4偏离轨道。布罗克曼说：“真正弄清楚GPT-4的语气、风格和实质一直是我们非常关注的问题。我认为我们开始更多地了解如何进行工程设计，如何拥有一个可重复的过程，让你得到对人们真正有用的可预测结果。”布罗克曼还提到了Evals，这是OpenAI最新的开源软件框架，用于评估其AI模型的性能，这是OpenAI致力于“增强”其模型的标志。Evals允许用户开发和运行评估模型(如GPT-4)的基准测试，同时检查它们的性能，这是一种众包的模型测试方法。布罗克曼说：“有了Evals，我们可以更好地看到用户关心的用例，并可以对其进行测试。我们之所以开源这个框架，部分原因是我们不再每隔三个月发布一个新模型以不断改进。你不会制造你不能测量的东西，对吧？但随着我们推出新版模型，我们至少可以知道发生了哪些变化。”布罗克曼还被问道，OpenAI是否会补偿人们用Evals测试它的模型？他不愿就此做出承诺，但他确实指出，在有限的时间内，OpenAI允许提出申请的Eevals用户提前访问GPT-4API。布罗克曼还谈到了GPT-4的上下文窗口，该窗口指的是模型在生成额外文本之前可以考虑的文本。OpenAI正在测试一种版本的GPT-4，它可以“记住”大约50页内容，是普通GPT-4“内存”的5倍，是GPT-3的8倍。布罗克曼认为，扩展的上下文窗口会带来新的、以前从未探索过的用例，特别是在企业中。他设想了一款为公司打造的AI聊天机器人，它可以利用来自不同来源(包括各部门员工)的背景和知识，以一种非常内行但具有对话性的方式回答问题。这并不是一个新概念。但布罗克曼认为，GPT-4的答案将比目前其他聊天机器人和搜索引擎提供的答案有用得多。他说：“以前，模型根本不知道你是谁，你对什么感兴趣等。而拥有更大的上下文窗口肯定会让它变得更强，从而大大增强它能为人们提供的支持。”...PC版：https://www.cnbeta.com.tw/articles/soft/1349631.htm手机版：https://m.cnbeta.com.tw/view/1349631.htm