OpenAI总裁:GPT-4并不完美但却绝对与众不同

OpenAI总裁:GPT-4并不完美但却绝对与众不同GPT-4在其前身GPT-3的基础上,在许多关键方面进行了改进,例如提供了更多真实的陈述,并允许开发人员更容易控制其风格和行为。从某种意义上说,GPT-4也是多模式的,因为它可以理解图像,能给照片添加注释,甚至详细描述照片中的内容。但GPT-4也有严重的缺陷。就像GPT-3一样,该模型会产生“幻觉”(即模型聚合的文本与源文本无关或不够准确),并会犯下基本的推理错误。OpenAI在自己的博客上举了一个例子,GPT-4将“猫王”埃尔维斯·普雷斯利(ElvisPresley)描述为“演员的儿子”,但实际上他的父母都不是演员。当被要求将GPT-4与GPT-3进行比较时,布罗克曼只给出了四个字回答:与众不同。他解释称:“GPT-4绝对与众不同,尽管它还存在很多问题和错误。但你可以看到其在微积分或法律等学科技能方面的跃升。它在某些领域的表现曾很糟糕,现在却已经达到超越普通人的水准。”测试结果支持了布罗克曼的观点。在高考微积分考试中,GPT-4得4分(满分5分),GPT-3得1分,介于GPT-3和GPT-4之间的GPT-3.5也得4分。在模拟律师考试中,GPT-4成绩进入了前10%行列,而GPT-3.5的分数在后10%左右徘徊。与此同时,GPT-4更受人关注的地方在于上面提到的多模式。与GPT-3和GPT-3.5不同,它们只能接受文本提示,例如可以要求“写一篇关于长颈鹿的文章”,而GPT-4可以同时接受图像和文本提示来执行某些操作,比如识别在塞伦盖蒂拍摄的长颈鹿图像,并给出基本的内容描述。这是因为GPT-4是针对图像和文本数据进行培训的,而它的前身只针对文本进行了培训。OpenAI表示,培训数据来自“各种合法授权的、公开可用的数据源,其中可能包括公开可用的个人信息”,但当被要求提供细节时,布罗克曼表示拒绝。训练数据以前也曾让OpenAI陷入法律纠纷。GPT-4的图像理解能力给人留下了相当深刻的印象。例如,输入提示“这张图片有什么好笑的?GPT-4会将整张图片分解,并正确地解释了这个笑话的笑点。目前,只有一个合作伙伴可以使用GPT-4的图像分析功能,这是一款针对视障人士的辅助应用程序,名为BeMyEyes。布罗克曼说,在OpenAI评估风险和利弊的过程中,无论何时,更广泛的推广都将是“缓慢而有意的”。他还称:“有些政策问题也需要解决,比如面部识别和如何处理人的图像。我们需要找出危险区域在哪里,红线在哪里,然后随着时间的推移找到解决方案。”OpenAI在其文本到图像转换系统Dall-E2上也遇到了类似伦理困境。在最初禁用该功能后,OpenAI允许客户上传人脸,以使用AI支持的图像生成系统对其进行编辑。当时,OpenAI声称,其安全系统的升级使面部编辑功能成为可能,因为它将深度造假以及试图创造色情、政治和暴力内容的潜在危害降至最低。另一个长期问题是防止GPT-4在无意中被用于可能造成伤害的方式使用。该模型发布几小时后,以色列网络安全初创公司AdversaAI发布了一篇博客文章,演示了绕过OpenAI的内容过滤器并让GPT-4生成钓鱼电子邮件、对同性恋者的攻击性描述以及其他令人反感文本的方法。这在语言模型领域并不是新问题。Facebook母公司Meta的聊天机器人BlenderBot和OpenAI的ChatGPT也曾被诱惑输出不恰当的内容,甚至透露了它们内部工作的敏感细节。但包括记者在内的许多人曾希望,GPT-4可能会在这方面带来重大改进。当被问及GPT-4的健壮性时,布罗克曼强调,该模型已经经过了六个月的安全培训。在内部测试中,它对OpenAI使用政策不允许的内容请求做出响应的可能性比GPT-3.5低82%,产生“事实”响应的可能性比GPT-3.5高40%。布罗克曼说:“我们花了很多时间试图了解GPT-4的能力。我们正在不断更新,包括一系列改进,这样该模型就更具可扩展性,以适应人们希望它拥有的个性或模式。”坦率地说,早期的现实测试结果并不是那么让人满意。除了AdversaAI测试之外,微软的聊天机器人BingChat也被证明非常容易越狱。使用精心设计的输入,用户能够让该聊天机器人表达爱意,发出威胁伤害,为大屠杀辩护,并发明阴谋论。布罗克曼并未否认GPT-4在这方面的不足,但他强调了该模型的新限制工具,包括被称为“系统”消息的API级功能。系统消息本质上是为GPT-4的交互设定基调并建立界限的指令。例如,一条系统消息可能是这样写的:“你是一位总是以苏格拉底风格回答问题的导师。你永远不会给学生答案,而是总是试着问正确的问题,帮助他们学会独立思考。”其思想是,系统消息充当护栏,防止GPT-4偏离轨道。布罗克曼说:“真正弄清楚GPT-4的语气、风格和实质一直是我们非常关注的问题。我认为我们开始更多地了解如何进行工程设计,如何拥有一个可重复的过程,让你得到对人们真正有用的可预测结果。”布罗克曼还提到了Evals,这是OpenAI最新的开源软件框架,用于评估其AI模型的性能,这是OpenAI致力于“增强”其模型的标志。Evals允许用户开发和运行评估模型(如GPT-4)的基准测试,同时检查它们的性能,这是一种众包的模型测试方法。布罗克曼说:“有了Evals,我们可以更好地看到用户关心的用例,并可以对其进行测试。我们之所以开源这个框架,部分原因是我们不再每隔三个月发布一个新模型以不断改进。你不会制造你不能测量的东西,对吧?但随着我们推出新版模型,我们至少可以知道发生了哪些变化。”布罗克曼还被问道,OpenAI是否会补偿人们用Evals测试它的模型?他不愿就此做出承诺,但他确实指出,在有限的时间内,OpenAI允许提出申请的Eevals用户提前访问GPT-4API。布罗克曼还谈到了GPT-4的上下文窗口,该窗口指的是模型在生成额外文本之前可以考虑的文本。OpenAI正在测试一种版本的GPT-4,它可以“记住”大约50页内容,是普通GPT-4“内存”的5倍,是GPT-3的8倍。布罗克曼认为,扩展的上下文窗口会带来新的、以前从未探索过的用例,特别是在企业中。他设想了一款为公司打造的AI聊天机器人,它可以利用来自不同来源(包括各部门员工)的背景和知识,以一种非常内行但具有对话性的方式回答问题。这并不是一个新概念。但布罗克曼认为,GPT-4的答案将比目前其他聊天机器人和搜索引擎提供的答案有用得多。他说:“以前,模型根本不知道你是谁,你对什么感兴趣等。而拥有更大的上下文窗口肯定会让它变得更强,从而大大增强它能为人们提供的支持。”...PC版:https://www.cnbeta.com.tw/articles/soft/1349631.htm手机版:https://m.cnbeta.com.tw/view/1349631.htm

相关推荐

封面图片

▶ GPT 4: https://openai.com/research/gpt-4

▶GPT4:https://openai.com/research/gpt-4▶APIWaitlist:https://openai.com/waitlist/gpt-4-api▶GPT-4DeveloperLivestreamhttps://m.youtube.com/watch?v=outcGtbnMuQ看图……(后面补了个P9,直播里的手稿拍照转html)邮件原文(翻译byChatGPT)我们已经创建了GPT-4,这是我们最强大的模型。我们今天开始向API用户推出该模型。请于今天(3月14日)下午1点(太平洋时间)加入我们,观看GPT-4的现场演示。▶关于GPT-4由于其更广泛的通用知识和先进的推理能力,GPT-4可以更准确地解决困难问题。▶您可以通过以下方式了解更多信息:·GPT-4概述页面以及早期客户使用该模型构建的内容。·博客文章详细介绍了该模型的功能和局限性,包括评估结果。(一开始的那个链接)▶可用性·API等待列表:请注册我们的等待列表,以获得受限制的GPT-4API访问权限,该API使用与gpt-3.5-turbo相同的ChatCompletionsAPI。我们将从今天开始邀请一些开发人员,并逐渐扩大可用性和速率限制,以平衡容量和需求。(我也放在前面了)·优先访问:开发人员可以通过为OpenAIEvals贡献模型评估来获得GPT-4的优先API访问权限,这将有助于我们改进该模型,使其对所有人都更好。https://github.com/openai/evals·ChatGPTPlus:ChatGPTPlus订户将可以在chat.openai.com上使用GPT-4,并获得动态调整的使用上限。由于我们的容量非常有限,因此使用上限将取决于需求和系统性能。API访问仍将通过等待列表进行。▶API定价·具有8K上下文窗口(约13页文本)的gpt-4将每1K提示令牌收取0.03美元,每1K完成令牌收取0.06美元。·具有32K上下文窗口(约52页文本)的gpt-4-32k将每1K提示令牌收取0.06美元,每1K完成令牌收取0.12美元。▶直播

封面图片

OpenAI强化GPT-4并使其更加便宜

OpenAI强化GPT-4并使其更加便宜该公司在周一举行的首次开发者大会上宣布,目前通过API预览版提供的GPT-4Turbo已对2023年4月之前的信息进行了培训。3月份发布的GPT-4早期版本只能学习到2021年9月之前的数据。OpenAI计划在未来几周内发布可量产的Turbo模型,但没有给出确切日期。GPT-4Turbo还能"看到"更多数据,其上下文窗口为128K,OpenAI称这"相当于在单个提示符中显示300多页文本"。一般来说,更大的上下文窗口可以让GPT等大型语言模型理解更多问题,并提供更深思熟虑的回答。在此之前,OpenAI发布了两个版本的GPT-4,一个版本的上下文窗口只有8K,另一个版本为32K。OpenAI表示,GPT-4Turbo对开发者来说运行成本更低。与GPT-4的0.03美元相比,每1000个标记(LLM阅读文本或代码的基本单位)的输入成本仅为0.01美元。每输出1000个单位的成本为0.03美元。总体而言,OpenAI表示新版GPT-4比旧版便宜三倍。最新版本的GPT-4仍将接受图像提示、文本到语音请求,并集成了10月份首次发布的DALL-E3功能。该公司表示,GPT-4Turbo的改进意味着用户可以在一次提示中要求模型执行更复杂的任务。用户甚至可以让GPT-4Turbo特别使用自己选择的编程语言来获取结果,比如XML或JSON编码。使用GPT-3.5Turbo模型的公司还将看到上下文窗口、功能和价格方面的改进。它的默认上下文窗口为16K,功能更新与GPT-4Turbo相同。GPT-3.5Turbo的输入费用为0.01美元,输出费用为0.002美元。OpenAI于3月发布了GPT-3.5Turbo,并称其为非聊天用途的最佳模型。8月,该公司又发布了一个可以微调的版本。除了改进旗舰模型,OpenAI还宣布效仿微软和Google,通过一项名为CopyrightShield的计划为企业用户提供版权赔偿。该公司在一份声明中说:"如果你面临有关版权侵权的法律索赔,我们现在将出面为我们的客户辩护,并支付由此产生的费用。"版权保护计划将涵盖ChatGPTEnterprise和OpenAI开发者平台的一般可用功能。Google表示,如果使用其嵌入式生成式人工智能功能的客户被起诉侵犯版权,公司将承担法律责任。微软也为其Copilot人工智能产品的企业用户提供了同样的保护。...PC版:https://www.cnbeta.com.tw/articles/soft/1394925.htm手机版:https://m.cnbeta.com.tw/view/1394925.htm

封面图片

GPT-4 来了!

GPT-4来了!OpenAI宣布推出了GPT-4,是一种大型多模态模型,可接收图像和文本输入,并输出文本结果。https://openai.com/research/gpt-4-ChatGPTplus用户,现在也可以通过下面访问GPT-4https://chat.openai.com-加入GPT-4API候补名单https://openai.com/waitlist/gpt-4-api-仓库贡献人员可以获得优先API访问权限https://github.com/openai/evals

封面图片

OpenAI 转录了超过100万小时的 YouTube 视频来训练 GPT-4

OpenAI转录了超过100万小时的YouTube视频来训练GPT-4据《纽约时报》报道,OpenAI公司迫切需要大量训练数据,为此开发了Whisper音频转录模型来克服困难,转录了超过100万小时的YouTube视频来训练其最先进的大型语言模型GPT-4。该公司知道这在法律上存在问题,但相信这是合理使用。OpenAI总裁格雷格·布罗克曼亲自参与了所使用视频的收集。OpenAI发言人表示,该公司为其每个模型策划了“独特”的数据集,以“帮助他们了解世界”并保持其全球研究竞争力。并补充说,该公司使用“众多来源,包括公开数据和非公开数据的合作伙伴”,并且正在考虑生成自己的合成数据。据报道,该公司在2021年耗尽了有用的数据供应,并在耗尽其他资源后讨论了转录YouTube视频、播客和有声读物。——、

封面图片

OpenAI最新“神”操作:让GPT-4去解释GPT-2的行为

OpenAI最新“神”操作:让GPT-4去解释GPT-2的行为即:让一个AI“黑盒”去解释另一个AI“黑盒”。工作量太大,决定让GPT-4去解释GPT-2OpenAI之所以做这项研究的原因,在于近来人们对AI伦理与治理的担忧:“语言模型的能力越来越强,部署也越来越广泛,但我们对其内部工作方式的理解仍然非常有限。”由于AI的“黑盒”性质,人们很难分辨大模型的输出结果是否采用了带有偏见性质的方法,也难以区分其正确性,因而“可解释性”是亟待重要的一个问题。AI的发展很大程度上是在模仿人类,因而大模型和人脑一样,也由神经元组成,它会观察文本规律进而影响到输出结果。所以想要研究AI的“可解释性”,理论上要先了解大模型的各个神经元在做什么。按理来说,这本应由人类手动检查,来弄清神经元所代表的数据特征——参数量少还算可行,可对于如今动辄百亿、千亿级参数的神经网络,这个工作量显然过于“离谱”了。于是,OpenAI灵机一动:或许,可以用“魔法”打败“魔法”?“我们用GPT-4为大型语言模型中的神经元行为自动编写解释,并为这些解释打分。”而GPT-4首次解释的对象是GPT-2,一个OpenAI发布于4年前、神经元数量超过30万个的开源大模型。让GPT-4“解释”GPT-2的原理具体来说,让GPT-4“解释”GPT-2的过程,整体分为三个步骤。(1)首先,让GPT-4生成解释,即给出一个GPT-2神经元,向GPT-4展示相关的文本序列和激活情况,产生一个对其行为的解释。如上图所示,GPT-4对GPT-2该神经元生成的解释为:与电影、人物和娱乐有关。(2)其次,再次使用GPT-4,模拟被解释的神经元会做什么。下图即GPT-4生成的模拟内容。(3)最后,比较GPT-4模拟神经元的结果与GPT-2真实神经元的结果,根据匹配程度对GPT-4的解释进行评分。在下图展示的示例中,GPT-4得分为0.34。通过这样的方法,OpenAI共让GPT-4解释了GPT-2中的307200个神经元,其中大多数解释的得分很低,只有超过1000个神经元的解释得分高于0.8。在官博中,OpenAI承认目前GPT-4生成的解释并不完美,尤其在解释比GPT-2规模更大的模型时,效果更是不佳:“可能是因为后面的layer更难解释。”尽管绝大多数解释的得分不高,但OpenAI认为,“即使GPT-4给出的解释比人类差,但也还有改进的余地”,未来通过ML技术可提高GPT-4的解释能力,并提出了三种提高解释得分的方法:对解释进行迭代,通过让GPT-4想出可能的反例,根据其激活情况修改解释来提高分数。使用更大的模型来进行解释,平均得分也会上升。调整被解释模型的结构,用不同的激活函数训练模型。值得一提的是,以上这些解释数据集、可视化工具以及代码,OpenAI都已在GitHub上开源发布:“我们希望研究界能开发出新技术以生成更高分的解释,以及更好的工具来使用解释探索GPT-2。”(GitHub地址:https://github.com/openai/automated-interpretability)“再搞下去,AI真的要觉醒了”除此之外,OpenAI还提到了目前他们采取的方法有很多局限性,未来需要一一攻克:GPT-4给出的解释总是很简短,但神经元可能有着非常复杂的行为,不能简洁描述。当前的方法只解释了神经元的行为,并没有涉及下游影响,希望最终能自动化找到并解释能实现复杂行为的整个神经回路。只解释了神经元的行为,并没有解释产生这种行为的背后机制。整个过程都是相当密集的计算,算力消耗很大。在博文的最后,OpenAI展望道:“我们希望将我们最大的模型解释为一种在部署前后检测对齐和安全问题的方式。然而,在这些技术能够揭露不诚实等行为之前,我们还有很长的路要走。”对于OpenAI的这个研究成果,今日在国内外各大技术平台也引起了广泛关注。有人在意其得分不佳:“对GPT-2的解释都不行,就更不知道GPT-3和GPT-4内部发生了什么,但这才是许多人更关注的答案。”有人感慨AI进化的方式愈发先进:“未来就是用AI完善AI模型,会加速进化。”也有人担心AI进化的未来:“再搞下去,AI真的要觉醒了。”那么对此,你又有什么看法呢?...PC版:https://www.cnbeta.com.tw/articles/soft/1359101.htm手机版:https://m.cnbeta.com.tw/view/1359101.htm

封面图片

OpenAI 发布新一代大型多模态模型 GPT-4

OpenAI发布新一代大型多模态模型GPT-4GPT-4是一个大型多模态模型,可以接受文本和图像输入。GPT-4在各种专业学术基准上有着人类水平表现,例如模拟律师考试中,GPT-4的得分约为前10%,而GPT-3.5的得分约为倒数10%。在多语言测试中,GPT-4优于GPT-3.5和Chinchilla(来自DeepMind)还有PaLM(来自谷歌),包括英语性能还有拉脱维亚语、威尔士语和斯瓦希里语等低资源语言。OpenAI还开放了角色扮演和性格定制能力,开发人员和用户可以自定义他们的AI风格,而不是具有固定冗长、语气和风格的经典ChatGPT个性。ChatGPTPlus订阅用户现可直接GPT-4,未来将对免费用户开放一定数量的GPT-4体验。GPT-4API需要候选名单,每1kprompttokens的价格为$0.03,每1kcompletiontokens的价格为$0.06。目前图像输入处在研究预览阶段,仅对少部分客户开放。微软在GPT-4发布后也正式BingChat基于GPT-4运行,同时BingChat的Edge边栏功能上线。与数据停留在2021年9月的GPT-4离线版本不同,BingChat可联网获取实时信息并且免费。——投稿:@ZaiHuabot频道:@TestFlightCN

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人