【Sam Altman:开源GPT-3、降低GPT-4的成本、翻倍模型规模】

【SamAltman:开源GPT-3、降低GPT-4的成本、翻倍模型规模】2023年06月01日07点48分6月1日消息,AI开发平台HumanLoop创始人RazaHabib与OpenAI首席执行官SamAltman等20多位开发者开展了一次闭门讨论会,SamAltman透露了很多关于OpenAI的未来规划与目前遇到的情况。具体有:1.OpenAI目前严重受限于GPU,导致他们推迟了许多短期计划,大部分关于ChatGPT可靠性和速度的问题都是由于GPU资源短缺造成。2.给GPT-4降本提效是OpenAI当前的首要任务。3.更长的ChatGPT上下文窗口(最高可达100万个tokens)。将来会有一个记住对话历史记录的API版本。4.GPT-4的多模态功能要到2024年才会公开,在获取更多GPU资源前不能将GPT-4的视觉版本扩展到所有人。5.OpenAI正在考虑开源GPT-3,他们之所以还没有开源的部分原因是因为他们觉得没多少人和公司有能力妥善管理如此大型的大语言模型。6.最近很多文章声称的“巨型AI模型的时代已经结束”并不正确,OpenAI内部数据表明,规模与性能成正比的定律仍成立,OpenAI的模型规模每年可能会增加一倍或三倍(多方信息表明GPT-4参数规模10000亿),而不是增加许多数量级。

相关推荐

封面图片

OpenAI 透露未来路线图:开源GPT-3、翻倍模型规模、整更多GPU

OpenAI透露未来路线图:开源GPT-3、翻倍模型规模、整更多GPUOpenAICEOSamAltman与AI开发平台HumanLoop创始人RazaHabib等20多位开发者开展了一次闭门讨论会,透露了OpenAI很多未来规划与目前的情况。1.OpenAI正在考虑开源GPT-3,他们之所以还没有开源是因为他们觉得没多少人和公司有能力妥善管理如此大型的大语言模型。2.OpenAI严重受限于GPU,导致他们推迟了许多短期计划,大部分关于ChatGPT可靠性和速度的问题都是由于GPU资源短缺造成。3.给GPT-4降本提效是OpenAI当前的首要任务。4.更长的ChatGPT上下文窗口(最高可达100万tokens)。5.GPT-4的多模态功能要到2024年才会公开,在获取更多GPU资源前不能将GPT-4的视觉版本扩展到所有人。6.最近很多文章声称的「巨型AI模型的时代已经结束」并不正确,OpenAI内部数据表明,规模与性能成正比的定律仍成立,OpenAI未来每年会将模型规模翻倍或三倍(多方信息表明GPT-4参数规模10000亿)。https://humanloop.com/blog/openai-plans频道:@TestFlightCN

封面图片

GPT-3计划开源 Sam Altman自曝急缺GPU GPT-4多模态能力2024年开放

GPT-3计划开源SamAltman自曝急缺GPUGPT-4多模态能力2024年开放许多网友纷纷表示,我喜欢Altman的坦诚。值得一提的是,GPT-4的多模态能力,2024年应该大部分Plus用户就能上手了,前提还是有足够GPU才行。微软老大哥斥资12亿美元给OpenAI建的超算,还远远无法满足GPT-4运行时所需的算力。毕竟,GPT-4参数据称有100万亿。另外,Altman还透露,GPT-3也在OpenAI的开源计划之中。不知道是不是这次采访内容透露了太多OpenAI的“机密”,源文稿目前已被删除,快点码了。划重点最新访谈,是来自AI开发平台Humanloop的首席执行官RazaHabib主持,采访了Altman以及其他20位开发人员。这次讨论涉及到实际的开发者问题,以及与OpenAI的使命和AI的社会影响相关的更大的问题。以下是关键要点:1.OpenAI急缺GPU2.OpenAI的近期路线图:GPT-4多模态2024年开放3.通过API访问ChatGPT插件近期不会发布4.OpenAI只做ChatGPT这一“杀手级应用”,目标是让ChatGPT成为一个超级智能的工作助手5.GPT-3在开源计划中6.模型性能的缩放法则继续有效接下来,将从6大点介绍SamAltman究竟说了啥。OpenAI目前严重依赖GPU采访的一切话题都是围绕,“OpenAI太缺GPU了”。这已经拖延了他们许多的短期计划。目前,OpenAI的许多客户都在抱怨API的可靠性和速度。SamAltman解释道,主要还是GPU太缺了。OpenAI是英伟达DGX-1超算首位客户至于,支持32ktokens的上下文长度还不能推出给更多的人。由于OpenAI还没有克服技术上的障碍,看起来他们似乎今年就会有支持100k-1Mtokens的上下文,但需要在研究上取得突破。微调(Fine-Tuning)API也目前受到GPU可用性的限制。OpenAI还没有使用像Adapters或LoRa这样的高效微调方法,因此微调对于运行和管理来说是非常计算密集型的。不过,未来他们将对微调提供更好的支持。甚至,OpenAI可能会托管一个社区贡献的模型市场。最后,专用容量提供也受到GPU可用性的限制。今年年初,网友爆出OpenAI正在悄悄推出一个新的开发者平台Foundry,让客户在专用容量上运行该公司的新机器学习模型。这一产品就是“为运行较大工作负载的尖端客户设计”。要使用这项服务,客户必须愿意预付$100k的费用。然而,从透露的图片信息可以看出,实例并不便宜。运行GPT-3.5的轻量级版本,3个月的委托将花费78,000美元,一年将花费264,000美元。从另一侧面也可以看出,GPU消耗价格不菲。OpenAI近期路线图Altman分享了OpenAIAPI的暂定近期路线图:2023:·又快又便宜的GPT-4ーー这是OpenAI的首要任务。总的来说,OpenAI的目标是,尽可能地降低“智能成本”。因此他们将努力继续降低API的成本。·更长的上下文窗口ーー在不久的将来,上下文窗口可能支持高达100万个tokens。·微调API——微调API将扩展到最新的模型,但具体的形式将取决于开发人员真正想要的是什么。·有记忆的APIーー目前大部分token被浪费在上文的传输中,将来会有一个能够记住对话历史的API版本。2024:·多模态能力ーーGPT-4发布时曾演示了强大的多模态能力,但是在GPU得到满足之前,这一功能还无法拓展到所有人。插件“没有PMF”,短期内不会出现在API中许多开发者对通过API访问ChatGPT插件非常感兴趣,但Sam表示这些插件不会很快发布。“除了Browsing外,插件系统还没有找到PMF。”他还指出,很多人想把他们的产品放到ChatGPT里,但实际上他们真正需要的是把ChatGPT放到他们的产品里。除了ChatGPT,OpenAI不会发布更多产品OpenAI的每一次动作,都让开发者们抖三抖。不少开发人员表示,OpenAI可能发布与他们竞争的产品的时候,对使用OpenAIAPI构建应用感到紧张。而Altman表示,OpenAI不会在ChatGPT之外发布更多的产品。在他看来,伟大的公司有一个“杀手级应用”,ChatGPT就是要做这个创纪录的应用。ChatGPT的愿景是成为一个超级智能的工作助理。OpenAI不会触及到更多其他GPT的用例。监管是必要的,但开源也是必要的虽然Altman呼吁对未来模型进行监管,但他并不认为现有的模型是危险的。他认为,监管或禁止现有模型将是一个巨大的错误。采访中,他重申了自己对开源重要性的信念,并表示OpenAI正在考虑将GPT-3开源。而现在,OpenAI还没有开源的部分原因是,他对有多少个人和公司有能力托管,和提供大模型表示怀疑。模型性能“缩放法则”仍有效近来,许多文章声称,巨型人工智能模型的时代已经结束。然而,并没有准确反应Altman原意。OpenAI的内部数据表明,模型性能的缩放法则(scalinglaws)仍然有效,让模型变大将继续产生性能。不过,缩放的速度不能维持,因为OpenAI在短短几年内已经将模型扩大了数百万倍,未来这样做将不可持续。这并不意味着OpenAI不会继续尝试使模型更大,只是意味着它们可能每年只会增加1倍/2倍,而不是增加多个数量级。缩放法则继续有效的事实对AGI开发的时间线有重要的影响。缩放假设是我们可能已经有了构建AGI所需的大部分部件,剩下的大部分工作将是将现有的方法扩展到更大的模型和更大的数据集。如果缩放的时代结束了,那么我们可能应该预期AGI会更远。缩放法则继续有效强烈暗示了实现AGI时间线会变短。网友热评有网友调侃道,OpenAI:必须通过法规来保护我们的护城河。还是OpenAI:Meta在我们的护城河里撒尿,让我们也暗示一下我们的模型要开源吧。还有人称,如果GPT-3真的开源了,像LLMa一样,需要大约5天的时间在M1芯片上就能运行了。社区开发人员能够帮OpenAI解决GPU瓶颈,前提是他们开源模型。没几天,开发者们就能让其运行在CPU和边缘设备。GPU短缺一事,有人认为是OpenAI资金链出了问题,买不起。然而还有人称,明显是缺乏供应。除非芯片制造业发生革命,否则相对于消费GPU来说,可能总是会出现供应不足的情况。还有网友怀疑,英伟达的价值还是被低估?计算需求的阶梯式变化可能持续数年...英伟达刚刚加入万亿美元俱乐部,这样说来,无限的算力需求或许会成就一个世界超越2万亿美元的芯片厂。...PC版:https://www.cnbeta.com.tw/articles/soft/1363187.htm手机版:https://m.cnbeta.com.tw/view/1363187.htm

封面图片

【美媒:微软Azure将向美国政府客户提供GPT-4大模型】

【美媒:微软Azure将向美国政府客户提供GPT-4大模型】2023年06月07日09点53分老不正经报道,微软公司将使其Azure政府云服务的用户(包括各种美国机构)能够访问ChatGPT创建者OpenAI的人工智能模型。微软计划于当地时间周三宣布,Azure政府服务客户可以通过微软AzureOpenAI服务使用OpenAI的两个大型语言模型,分别为最新的GPT-4,以及早期的GPT-3。(界面)

封面图片

OpenAI CEO:GPT-4“有点糟糕”,今年将推出新模型

OpenAI首席执行官SamAltman在与LexFridman的访谈中表示,他们公司的人工智能模型GPT-4其实“有点糟糕”,Altman更期待即将到来的GPT-5能够真正配得上大家的期待。“我认为它有点糟糕,”当被问及GPT-4及其最令人印象深刻的能力时,Altman说道,“展望未来几年,我们应该意识到我们现在拥有的工具将来看来会非常落后,这正是鞭策我们不断进步、创造更美好的未来的动力。”“别误会,我既不想贬低GPT-4的成就,也不想夸大其词,”阿尔特曼说,“正因我们正处于指数级发展的曲线上,所以很快我们就会像现在看待GPT-3一样看待GPT-4。”Altman认为GPT-4存在“令人惊鸿一瞥的闪光点”,但他指出其最佳用途通常是作为头脑风暴的伙伴,ChatGPT在处理复杂的多步骤问题时几乎没什么用处。当它确实有效时,那种感觉确实神奇,但这种情况少之又少。Altman还指出,他们今年将推出新的模型,不是GPT-5,不过他并未具体说明其名称,只是表示在GPT-5之前还有其它重要的东西需要推出。via匿名标签:#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot

封面图片

微软Azure将向美国政府客户提供GPT-4大模型

微软Azure将向美国政府客户提供GPT-4大模型微软公司将使其Azure政府云服务的用户(包括各种美国机构)能够访问ChatGPT创建者OpenAI的人工智能模型。微软计划于当地时间周三宣布,Azure政府服务客户可以通过微软AzureOpenAI服务使用OpenAI的两个大型语言模型,分别为最新的GPT-4,以及早期的GPT-3。据了解,微软是OpenAI的最大投资者,并利用其技术为其必应聊天机器人提供支持。美国国防部、能源部及美国国家航空航天局均为微软Azure政府服务客户。(彭博)投稿:@ZaiHuaBot频道:@TestFlightCN

封面图片

OpenAI创始人Sam Altman发推宣布ChatGPT-4的消息

OpenAI创始人SamAltman发推宣布ChatGPT-4的消息该网页链接到一份相当技术性的文件,概述了GPT-4,并说:"......GPT-4是一个大规模的多模态模型,可以接受图像和文本输入并产生文本输出。虽然在许多现实世界的场景中,GPT-4的能力不如人类,但在各种专业和学术基准上表现出人类水平的性能,包括通过模拟的律师考试,分数约为应试者的前10%"。这个新的ChatGPT-4模型是"多模式的",这意味着它可以接受文本或图像输入,它开启了很多新的可能性。微软在新的必应搜索引擎中使用了OpenAI和ChatGPT的修改版,称为"普罗米修斯模型",尽管它不被认为是基于GPT-4的,作为最直接观察人工智能生成文本的前沿,必应在这个新模型上的迭代速度和效果如何值得关注。美国太平洋时间今天下午1点,OpenAI将在YouTube上举行网络广播,提供更多信息后续就会来到。https://www.youtube.com/openai...PC版:https://www.cnbeta.com.tw/articles/soft/1349431.htm手机版:https://m.cnbeta.com.tw/view/1349431.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人