用GPT-4纠错GPT-4 OpenAI推出CriticGPT模型

用GPT-4纠错GPT-4 OpenAI推出CriticGPT模型 这一新模型的发布意在向投资者传达，OpenAI在RLHF赛道上的领先地位。RLHF的一个关键部分就是收集比较，让人工智能训练师对不同的ChatGPT回答进行评分，并反馈给ChatGPT。研究发现，当训练师借助CriticGPT来审查ChatGPT输出代码时，他们的表现要比没有得到帮助的人高出60%。并且，在CriticGPT的帮助下，他们的指正比自己单独做的更加全面。CriticGPT的审查随着大模型在推理和行为方面的进步，ChatGPT变得更加准确，它的错误也变得更加微妙。这可能会使人工智能训练师很难发现其中不准确的情况，从而使RLHF的比较任务更加困难。若是如果没有更好的工具，人们很难对这些系统进行评估。而OpenAI指出，CriticGPT模型将有能力评估先进人工智能系统的输出。OpenAI举了一个例子：用户对ChatGPT下达“用Python编写指定函数”的任务，ChatGPT根据这一指令给出了相关代码。对于ChatGPT给出的代码，CriticGPT点评了其中一条，并给出了效果更好的替代方案。还有一项数据显示，在OpenAI的实验中，随机训练师在超过60%的时间里更倾向于人类与CriticGPT合作后得出的指正，而不是单纯由人类训练师作出的批评。不过，OpenAI也指出，CriticGPT的建议并不总是正确的，但与没有人工智能的帮助相比，它还是可以帮助训练师找出模型中的更多问题。 ... PC版： 手机版：

OpenAI强敌出手：Inflection-2.5 训练计算量仅40%、性能直逼GPT-4

OpenAI强敌出手：Inflection-2.5 训练计算量仅40%、性能直逼GPT-4 让Pi聊天机器人比较Inflection-2.5与GPT-4试用直通车：https:// 1.5 Pro、Claude 3 Opus，以及最新登场的Infection-2.5。这意味着GPT-4独霸时代已经过去，大模型王者之战还有很多可能。在这场激烈的战事中，Inflection AI既年轻又锋芒毕露，成立刚满两年，由前DeepMind首席科学家Karén Simonyan、LinkedIn联合创始人Reid Hoffman、DeepMind联合创始人Mustafa Suleyman共同创办，2023年6月获得英伟达、微软等参投的13亿美元融资，估值达40亿美元（折合约287亿人民币），是当前全球第四大生成式AI独角兽。它是OpenAI的大语言模型劲敌之一，以“为每个人创造一个个性化的AI”为使命，2023年5月推出了一款具有同理心、乐于助人和安全的个性化AI聊天助手Pi，11月推出基础模型Inflection-2。与此同时，Inflection AI正在构建由22000万块H100 GPU组成的世界最大AI计算集群。现在，Inflection AI进一步给Pi加料新升级的Inflection-2.5有“世界级的智商”、“独特的善良”、“好奇的个性”，并具备4个主要亮点：1、在关键基准测试中与GPT-4并驾齐驱，并且使用40%的计算量来训练，与其他顶级基础模型相比训练效率优势显著。2、在编程、数学等STEM（科学、技术、工程、数学）领域进步显著。3、“世界级”实时网络搜索功能：确保用户能获得高质量、最新的新闻和信息，增强用户体验和交互的即时性。4、广泛可用性+显著满意度：对所有Pi用户开放，支持多平台访问，对用户情绪、参与度和留存率产生显著影响，加速了有机用户增长。继Anthropic后，又一家初创公司推出了性能强大、能与GPT-4一较高下的大语言模型，并在优化模型训练方法上大秀肌肉。 这展现了创业团队在大模型竞赛中的潜力和冲劲，随着大模型性能不断升级，如何用更少计算资源训出更强模型，将是接下来产学界都重点探索的方向。01.用40%的计算量，训练出接近GPT-4的性能Inflection-1用了GPT-4训练FLOPs的约4%，在不同的智商导向任务中，平均性能达到GPT-4水平的大约72%。Inflection-2.5用了GPT-4训练FLOPs的40%，在不同的智商导向任务中，平均性能达到GPT-4的94%以上。Inflection-2.5在MMLU基准测试上的成绩相较Inflection-1进步明显，略低于GPT-4。MMLU基准测试衡量了从高中到专业难度的各种任务的性能。Inflection AI还根据GPQA钻石基准进行评估，这是一个极难的专家级基准。其测试还包括两种不同的STEM（科学、技术、工程、数学）考试的结果：匈牙利数学考试和物理GRE（物理研究生入学考试）的表现。在BIG-Bench-Hard（大语言模型难以解决的BIG-Bench问题的子集）上，Inflection-2.5性能比Inflection-1提高10%以上，接近GPT-4。在MT-Bench上评估模型后，Inflection AI意识到，在推理、数学、编程类别中，有很大一部分（接近25%）的示例具有不正确的参考解决方案或具有错误前提的问题。因此Inflection AI更正了这些示例，并发布了该版本的数据集。在评估这两个子集时，Inflection AI发现在正确修正的版本中，其模型更符合他们基于其他基准的期望。与Inflection-1相比，Inflection-2.5在数学和编程性能方面有了显著进步。下表是在MBPP+和HumanEval+两个编程基准上的评测结果对比。在HellaSwag和ARC-C常识和科学基准测试上进行评估，Inflection-2.5同样表现强劲。02.特别致谢微软Azure和CoreWeave，正构建世界最大AI集群上面所有的评估都是用现在为Pi提供动力的模型Inflection-2.5完成的，但是Inflection AI注意到，受web检索的影响（没有使用web检索的基准测试），少量提示词的结构以及其他生产端差异，用户体验可能会略有不同。这家独角兽企业还专门致谢了为其提供算力资源的合作伙伴Azure和CoreWeave。Azure是微软云计算服务，CoreWeave则是去年凭借英伟达的支持坐拥数万块芯片狂揽算力大单的GPU云服务黑马。2023年初，CoreWeave找到Inflection并为其提供几千张H100 GPU。英伟达看中了这个组合的巨大潜力，先后向两家公司投资数亿美元，抬高了Coreweave的H100供货优先级。2023年6月，Inflection AI宣布与将与合作伙伴CoreWeave、英伟达一起，构建世界上最大的AI集群，包含22000个H100 GPU。CoreWeave-Infection AI超算的信息推测（图源：The Next Platform）就在宣布最大AI集群的一个月前，Inflection AI推出Pi聊天机器人，向OpenAI正式下战书。不同于ChatGPT等产品的“生产力工具”定位，Pi想做“个人AI”，成为用户24小时在线的数字朋友，更注重为用户带来友好、丰富的社交互动体验。Pi能记住与跨平台登录用户的100次对话，支持网页、APP、短信、社交平台等设备交互。相比其他AI聊天机器人，Pi可能在文本生成、代码生成等能力上不算出众，但在安全、同理心等特性上独树一帜。这也是为什么这家创企刚创办就从微软等公司处筹集2.25亿美元，一年后又拿到微软、英伟达、微软联合创始人比尔·盖茨、Alphabet前CEO Eric Schmidt等的13亿美元融资，飞速成为全球最大的生成式AI独角兽之一。截至2023年年底，Inflection AI估值约为40亿美元，是全球第四大生成式AI独角兽，仅次于OpenAI、Anthropic、Character.AI。03.联创团队有钱有技术：曾创办DeepMind，曾投资OpenAI2022年3月成立的年轻AI团队，能赢得微软和英伟达两大巨头的青睐，与其创始团队密不可分。Inflection AI联合创始人Reid Hoffman被称作“硅谷人脉王”，是硅谷最有名的天使投资人之一，他是全球最大专业社交网站LinkedIn的联合创始人，以及风险投资机构Greylock Partners的合伙人，曾是OpenAI的创始投资者。截至2023年5月，Reid Hoffman和Greylock Partners已投资至少37家AI公司。左为Mustafa Suleyman，右为Reid Hoffman（图源：福布斯、Business Insider）另一位联合创始人Mustafa Suleyman，2009年与几位合伙人共同创立DeepMind，并将研究重点放到AI在医疗健康和气候变化中的应用，但连年亏损压得Suleyman喘不过气。2014年，Google抛出橄榄枝，6亿美元将DeepMind收入麾下。背靠金主的DeepMind终于可以没有资金之忧地继续从事前沿研究，然而5年后，Suleyman却选择离开DeepMind，加入Google并担任AI产品管理和AI政策副总裁。背后原因，据说是由于一些同事曾抱怨他在工作上骚扰和欺凌同事。Suleyman也曾坦言，作为DeepMind联合创始人，他对员工的要求过于苛刻，有时他的管理风格并不具有建设性。2022年，他离开Google，创办Inflection AI并担任CEO，“希望与有远见和无所畏惧的创始人在一起”。第三位联合创始人是前DeepMind首席科学家Karén Simonyan，现任Inflection AI首席科学家。他是同代中成就突出的深度学习研究者之一，其出版物（包括5篇在学术顶级期刊Nature和Science上的论文）吸引了超过18万次引用。Karén Simonyan部分高引用量学术成果Karén Simonyan在牛津大学完成了博士学位和博士后学位，期间设计了VGGNet图像处理框架并在赢得了知名的ImageNet挑战赛。随后他创办Vision Factory AI公司，将VGGNet商业化。这家公司很快就被DeepMind收购，karsamyn的身份则变成了DeepMind首席科学家。任职DeepMind首席科学家期间，karsamyn建立并领导了大规模深度学习团队，开发了基于真实世界数据的大型AI模型。他在AlphaZero、AlphaFold、WaveNet、BigGAN和Flamingo等AI突破中均发挥了关键作用。04.结语：团队不到50人，Pi每日聊天消息数超40亿据外媒Axios援引Suleyman的话，当前Inflection AI团队拥有70名员工。据Inflection AI透露，其100万日活跃用户和600万月活跃用户与Pi聊天机器人往来了超过40亿条消息。与Pi的平均谈话时间为33分钟，每天有1/10的谈话时间超过1小时。在任何一周与Pi交谈的用户中，约... PC版： 手机版：

OpenAI推出CriticGPT模型，让GPT-4帮人类训练GPT-4

OpenAI推出CriticGPT模型，让GPT-4帮人类训练GPT-4 PANews 6月28日消息，据财联社报道，OpenAI新推出了一个基于GPT-4的模型CriticGPT，用于捕获ChatGPT代码输出中的错误。 CriticGPT的作用相当于让人们用GPT-4来查找GPT-4的错误。该模型可以对ChatGPT响应结果做出批评评论，从而帮助人工智能训练师在“基于人类反馈的强化学习（RLHF）”过程中发现的错误，为人工智能训练师提供明确的人工智能帮助。这一新模型的发布意在向投资者传达，OpenAI在RLHF赛道上的领先地位。RLHF的一个关键部分就是收集比较，让人工智能训练师对不同的ChatGPT回答进行评分，并反馈给ChatGPT。 研究发现，当训练师借助CriticGPT来审查ChatGPT输出代码时，他们的表现要比没有得到帮助的人高出60%。并且，在CriticGPT的帮助下，他们的指正比自己单独做的更加全面。