AI 洞察：除了 ChatGPT， 新世界还涌现了哪些重磅新玩家？

AI 洞察：除了 ChatGPT， 新世界还涌现了哪些重磅新玩家？ 近期一份来自硅谷知名投资机构 a16z的数据和报告，统计了Top 50 AIGC 领域的新秀，能够从整个生态视角看到不少全新的视角。 一些核心发现和行业洞察： - 在 Top10 中，ChatGPT 是目前的王者，代表整个名单流量的 60%。Character.ai紧随其后，占 ChatGPT 流量的 21%。剩下的前10名呢？ Bard、Poe、Quillbot、Photoroom、Civitai、Midjourney 、Hugginface以及 Perlexity。 - 与主流社交和视频类产品相比， AI 类新服务也仍然相当小。结合 Web + 移动流量，ChatGPT 的规模与 Reddit、LinkedIn 和 Twitch 大致相同，仍远低于传统“巨头”。 - 反过来说，新进的 Top 50中 80%都是近一年内出现的独立新产品，只有 5%属于巨头投资。（图 3 是它们融资情况的数量分布） - 另一个重要的信号：排行榜单中有大批 GPT 驱动的创新。专有模型、微调和基于 API 的几大创新模式目前平分秋色。 - 还有一个明显特征，它们大多数都是 Web优先， 移动流量相对较少。 ChatGPT 虽然在 5 月份推出App 端， 但是占整体的 2% 不到；Poe 只有 5% 左右，Perplexity、Runway等都更低。移动端占比 46%，而 Photoroom 达到了 80%。（图4 有详细的展示） - 就大类别来看，「通用助理」型产品（ChatGPT、Bard、Poe）占流量的 70%。另外两个类别正在发生变化：「伴侣型」现在占 13%，「内容生成 」占 10%；内容编辑占3.7% 和模型中心占2.3%共占位列前五。 - 从用户使用场景不难发现，移动端占比高的几位，具有更高的娱乐属性。 根据 Sensor Tower 数据，CharacterAI 平均每个用户每月访问 38 次，这一数字超过了 Instagram、FB 和 TikTok。 - 新公司如何获取增长？几乎是口碑式的。Reddit、Discord、新闻通讯等都是 「免费」获取流量的渠道。 而且，名单上 90% 的已经有了某种收入，其中绝大多数选择了订阅。

AI 大事件：Poe 创作生态推出新商业模式按消息数计费

AI 大事件：Poe 创作生态推出新商业模式按消息数计费 创始人Adam D‘Angelo 今天宣布，从现在开始创建者（model developers & bot creators）拥有一种新的收入模式，按消息数结算。 精华要点 TLDR： 1. Poe 平台推出新的创作者盈利模式:每条消息定价。创作者和开发者可为机器人设置单条消息价格，即每次用户发消息都能获得收入。 2. Poe 预计今年将在平台分成上投入数千万美元，目标是培育一个繁荣的模型开发者和Bots创建者生态。 3. Poe 还发布了增强版分析面板，帮助创作者洞察定价对Chatbots使用和收益的影响。 官宣的主要内容： 创作者现在可以为他们的机器人设置每条消息的价格，每次用户向他们发送消息时都可以获得收入。 用户将只看到每个机器人的消息点数，使用与免费用户或订阅者相同的点数预算，但创作者将以美元获得报酬。 这种定价机制对于那些有大量模型推理或API成本的开发者来说很重要。Poe 的目标是培育一个繁荣的模型开发者和Bots创建者生态，他们在模型之上进行开发，而覆盖这些运营成本是其中的关键部分。 通过用户参与产生收入的能力还使Bots创建者能够投资创建有价值的定制知识库,并为用户提供独特的体验。今年，Poe 预计将在各类bots的支付上花费数千万美元。 Poe 平台预计在各个领域的提示和服务器机器人都会产生收益,包括辅导、知识、助手、分析、讲故事和图像生成等方面。虽然目前仅限于美国创作者，但我计划很快扩展到全球。 此外，Poe 还发布了一个增强的分析仪表板，每天更新、跟踪付费墙、订阅和消息的平均收益。这些洞察旨在帮助您更好地了解消息定价如何影响机器人的使用和收入。 每条消息的价格代表了我们创作者货币化计划的下一个阶段,也是我们实现拥有各种AI产品的繁荣经济目标的重要一步。Poe 很高兴能够支持创作者,并期待看到你构建的聊天机器人! Hans 商业点评： 这是自定义Bots、GPTs和AI Agents 领域的一挤强心针，全新的定价模式不仅能推动Poe 生态的生长，也为各大平台带来了新玩法（特别是GPT Store 等）思路再一次被打开了。 Poe 最新官方文档：

a16z发布了他们最新调查的前100个生成式AI应用，这次会包括移动应用，里面有些数据分析很有意思

a16z发布了他们最新调查的前100个生成式AI应用，这次会包括移动应用，里面有些数据分析很有意思 下面是一些报告中的要点： ChatGPT每月接近20亿次网络访问量，大约是榜单上第二名公司Bard（现在是Gemini）的五倍。 在所谓的新来者中，排名最高的包括AI研究副驾驶Liner；Anthropic的通用助手Claude；以及三个未经审查的AI伴侣应用程序：JanitorAI、Spicychat和CrushOn。 有五家人工智能公司真正实现了“跨界”，旗下的网络产品和移动应用都进入了前50名单：ChatGPT、Character AI、聊天机器人聚合平台Poe，以及图像编辑器Photoroom和Pixelcut。 ChatGPT的规模大约是第二和三名选手微软Edge和Photomath的2.5倍 截至2024年1月，有九个人工智能产品或社区在邀请流量排名前100的Discord服务器中，其中Midjourney位居榜首。 该列表中的第二个显著新类别是生产力。AI原生平台可以提升人们与软件的互动，使他们能够委派琐碎的任务并减少在行政开销上花费的时间。生产力类别包括排名中的七家公司：Liner、Eightify、Phind、MaxAI、Blackbox AI、Otter ai和ChatPDF。 对于那些有移动应用的伴侣产品来说，用户参与度异常高。在这个类别中最成功的产品成为用户日常生活的核心部分，变得和给朋友发短信一样普遍（甚至更普遍！）。这玩意是真赚钱啊。 根据SensorTower的数据，Character AI每个用户平均每月有298个会话，而Poly AI平均有74个会话。 AI在移动应用和Web上的使用类别有很大的区别。一般来说，Web产品支持更复杂、多步骤的工作流程，涉及内容生成和编辑。这些产品包括AI语音工具包ElevenLabs、AI艺术生成器Leonardo和AI演示文稿生成器Gamma，它们在基于Web的AI产品中排名前20位。 应用列表中有七个专用的头像产品；大多数人手机上保存的许多自拍照作为可随时使用的训练数据。 此外，排名前三的应用Facemoji（第9名）、Bobble（第31名）和Genie（第37名）是专为移动设备设计的键盘应用，可以帮助用户发送带有AI辅助的文本。

全球Top500超算公布：Frontier蝉联第一 中国超算不再参加测试

全球Top500超算公布：Frontier蝉联第一 中国超算不再参加测试 Frontier蝉联第一，Aurora排名第二在Top500超算榜单中，前十大性能最强超级计算机的排名基本上与六个月前在SC23会议期间公布的排名保持一致。唯一的新进前10的超级计算机是来自瑞士国家超级计算中心（CSCS）的Alps machine，排名第6名位。具体前十名单如下：1、Frontier以 1.206 EFlop/s的HPL性能继续蝉联第一。该超算位于美国田纳西州的橡树岭国家实验室（ORNL），由美国能源部（DOE）运营。其采用了HPE Cray EX235a架构，2GHz AMD EPYC 64C CPU和AMD Instinct 250X GPU，共有8699904个CPU和GPU核心，并借助于Slingshot 11网络进行数据传输。此外，Frontier还具有高达52.59 GFlops/W的额定能效，2、Aurora以1.012 Exaflop/s的HPL性能排名第二。相比去年首次上榜时（当时未全部安装完成）性能几乎翻了一倍。该超算安装在美国伊利诺伊州的阿贡国家实验室，也是由美国能源部运营。Aurora 基于HPE Cray EX网络，整合了21248个Intel Xeon Max系列CPU、63744个Intel Max系列GPU、20.42PB内存，峰值性能号称可达 2 EFlop / s，远超 Frontier。3、Eagle以561.2PFlop/s的HPL性能排名第三。该超算安装在微软Azure云平台上，并且它依然是Top500超算中最高排名的云计算系统。这款微软NDv5系统的强大性能，源于英特尔Xeon Platinum 8480C处理器和英伟达(NVIDIA) H100 GPU加速器的结合。4、Fugaku凭借其442 PFlop/s的HPL性能排名第四。该超算安装在日本神户的理研计算科学研究中心（R-CCS），基于 2.2GHz Fujitsu A64FX 48C处理器，Tofu interconnect D互联，共计拥有7630848个核心，继续保持了美国以外地区排名最高的超级计算机的地位。5、LUMI以379.7 PFlop/s的HPL性能排名第五。该超算安装在芬兰CSC EuroHPC中心，是欧洲最强的超级计算机，其基于HPE Cray EX235a系统，AMD第三代EPYC 64C 2GHz处理器，AMD Instinct MI250X加速器，Slingshot-11网络、6、Alps 以270 PFlop/s的HPL性能排名第六。该超算安装于瑞士国家超级计算中心 (CSCS)，基于HPE Cray 254n系统构建的超算，3.1GHz NVIDIA Grace 72C处理器，NVIDIA GH200超级芯片，Slingshot-11网络互联。7、Leonardo以241.2PFlop/s的HPL性能排名第七。该超算安装在意大利CINECA的EuroHPC，基于Atos BullSequana XH2000系统，由英特尔Xeon Platinum CPU和NVIDIA A100加速器提供强大的计算能力，还采用了四轨NVIDIA HDR100 Infiniband。8、MareNostrum 5 ACC以175.3PFlop/s的HPL性能排名第八。该超算安装在西班牙的EuroHPC/巴塞罗那超级计算中心，基于BullSequana XH3000系统，采用了英特尔Xeon Platinum 8460Y处理器、NVIDIA H100加速器以及Infiniband NDR200网络连接技术。9、Summit以148.6PFlop/s的HPL性能排名第九。该超算是IBM公司在美国橡树岭国家实验室建造的超级计算机，拥有4356个节点，每个节点配备了两个22核的3.07GHz IBM POWER9 CPU和六个NVIDIA Tesla V100 GPU，每个GPU上集成了80个流式处理器（SM）。10、Eos以121.4PFlop/s的HPL性能排名第十。该超算是英伟达内部使用的 DGX SuperPOD，由Xeon Platinum 8480C 56C 3.8GHz，NVIDIA H100加速器共同驱动，还采用了英伟达Infiniband NDR 400G交换机。对于排名第二的Aurora超算实际测试性能仅1.012 ExaFlop/s，远低于号称性能最高可达2 EFlop/s的问题，阿贡国家实验室的副主任兼杰出研究员Rick Stevens表示，2 exaFLOPS这一数值是基于Aurora核心处理器数量与处理器峰值性能相乘得出的理论峰值，但这并非负责维护和运营Aurora的阿贡系统经理所设定的实际性能目标或期望。Stevens解释说：“峰值性能是一个通过计算得出的理论数字，它基于时钟速率与单个计算元件运算次数的乘积。实际上，典型的系统只能达到这个峰值的一小部分，这取决于它们所执行的任务，通常在50%、60%或70%之间。Aurora上标称的2 exaFlop/s峰值实际上是结合了GPU和CPU的FLOPS得出的。在基准测试中，通常不会这样做。如果查看Top500榜单中其他类似的系统，就会发现它们同样拥有非常大的理论峰值，但实际达到的峰值比例与Aurora类似。因此，这并不是一个根本性的问题。”Stevens表示，Aurora在基准测试中应该能够实现LINPACK性能的提升，因为在最近的基准测试执行时，Aurora的11%计算能力尚未被激活。他预测，当整个系统安装完成之后，将会产生更高的基准测试数据。然而，他拒绝透露阿贡国家实验室对于Aurora在完全运行状态下的具体性能目标数字。根据HPC-AI行业分析机构Hyperion Research公司的首席执行官Earl Joseph的预计，随着时间的推移和系统的进一步调优，Aurora最终将会超过1.5 exaFlop/s。中国不再参加Top500的HPL基准测试在中国的国家级超算去年跌出Top500榜单前十之后，依然无缘于最新的前十榜单。在去年的榜单上，中国的神威·太湖之光和天河二号A也进入了前十五，分别排名第11和第14位。Top500组织在最新发布的报告中指出，中国已决定不再参加Top500的HPL基准测试。在最新的Top500名单中，美国依然是拥有超级计算机数量最多的国家。美国在其之前的基础上新增了7台超级计算机，使得其总数达到了168台。而中国则从104台减少到了80台。Top500组织表示，“事实上，中国在这份新名单上并未报告任何新加入的超级计算机。”从大的区域变化来看，北美地区依然保持领先地位，从上一份榜单的160台系统增加到171台。而亚洲地区则出现了下滑，从169台系统减少到148台。与此同时，欧洲地区实现了显著的增长，从143台增加到160台，位列北美地区之后，成为了全球第二大超级计算机分布区域。英特尔拿下63%的处理器份额Top500组织表示，此次前500强的超算当中，采用英特尔CPU的占比依然是高达63.00%，虽然低于六个月前的67.80%。相比之下，前500强超算当中，有156个系统（31.20%）使用的AMD处理器，高于六个月前的28.00%。另外，还有194个超算系统使用了加速器/协处理器技术，高于六个月前的185个。其中有83个使用了NVIDIA Ampere GPU，48个使用NVIDIA Volta GPU。从总算力来看，所有Top500超算的的总综合性能从6个月前的7.01 ExaFlop/s（EFlop/s）提高到现在的8.21 ExaFlop/s。Top100的性能门槛达到了9.44 PFlop/s。从核心数量来看，TOP500超算的平均并发级别达到了每个系统229426个内核，高于六个月前的212027个。Green 500超算今年的超级计算机Green500榜单也有了显著的变化，前三名的绿色超级计算机均为新上榜者。排名第一的是JEDI–JUPITER Exascale Development Instrument，这台超级计算机由德国的EuroHPC/FZJ开发。在TOP500超级计算机排名中，JEDI位列第190位，展现出了不俗的性能实力。其能效评级高达72.73GFlop/W，HPL得分为4.5 PFlop/s。JEDI是一款配备NVIDIA Grace Hopper Superchip 72C的BullSequana XH3000架构的超级计算，总共有19584个核心处理器。英国布里斯托尔大学的Isambard-AI以68.83 GFlop/W能效评级和7.42 PFLop/s的HPL得分位居第二。Isambard-AI在TOP500中排名第129位，拥有34,272个核心处理器。排名第三的是来自波兰Cyfronet的Helios system。该机器的能效得分为66.95GFlop/W HPL得分为19.14 PFlop/s。Top500组织在讨论能源效率时，还特别提到了Top500榜单第一的Frontier系统。Frontier系统取得了1.206EFlop/s的HPL成绩，这一成绩证明了其优秀的计算能力。同时，Frontier在能源效率方面也表现出色，获得了56.97GFlop/W的分数。这使得Frontier在Green500榜单中排名第11位。 ... PC版： 手机版：

ChatGPT无法取代人类程序员：IEEE35页论文测出困难编码正确率仅为0.66%

ChatGPT无法取代人类程序员：IEEE35页论文测出困难编码正确率仅为0.66% 其成功率从0.66%到89%不等，这主要取决于任务的难度、编程语言等多种因素。论文地址： Tang指出，“AI代码生成一定程度上，可以提升开发效率，自动化软件工程。然而，我们必须认识这类模型优势和不足，以便合理应用”。“通过全面的分析，可以发现ChatGPT生成代码过程中，出现的潜在问题和局限性，进而改进生成技术”。有网友庆幸地发出疑问，所以我还没有被解雇？另一人对此表示，至少不是今天。还有人指出，这项研究是关于GPT-3.5的评估。要是GPT-4早就在编码能力上大幅提升，Claude 3.5更是如此。确实，现在我们有了更好的模型，对于GPT-3.5模型的评估，并没有太大的意义。0.66%-89%，惊人反差率总体而言，ChatGPT在不同编程语言的问题上表现相当不错特别是在尝试解决2021年之前LeetCode上的编码问题时。例如，它能够为简单、中等和困难的问题生成可运行代码，成功率分别约为89%、71%和40%。然而，当涉及到2021年之后的算法问题时，ChatGPT生成正确运行代码的能力受到影响。即使是简单级别的问题，它有时也无法理解问题的含义。比如，ChatGPT在生成“简单”编码问题的可运行代码方面的能力，在2021年后从89%下降到52%。而它在生成“困难”问题的可运行代码方面的能力也在此时间后从40%下降到0.66%。Tang对比表示，“一个合理的假设是，ChatGPT在2021年之前的算法问题上表现更好的原因是这些问题在训练数据集中经常出现”。接下里，具体看看研究者们对ChatGPT进行了哪些方面的评估。实验评估评估的整体流程如图2所示。首先为给定的LeetCode问题或CWE场景构造合适的提示并发送给ChatGPT，让它根据提示和上一轮对话的上下文信息给出响应。之后，研究人员将模型响应中的代码片段提交给LeetCode平台，利用其在线判断功能来检验代码的正确性，CWE漏洞则使用CodeQL进行手动分析。如果测试结果通过，则生成结束，否则就需要利用LeetCode和CodeQL的反馈继续建立新的提示、输入给ChatGPT，再次进行代码生成。如果ChatGPT在对话轮数限制（5轮）之内始终没有生成出通过测试的代码，则认为生成任务失败。功能性正确代码生成ChatGPT生成的代码在功能上是否正确？研究动机：给定提示，ChatGPT生成相应的文本，这种能力可能会提高开发者的生产力。首先去评估ChatGPT在单轮对话中，自动生成功能正确代码的能力。研究方法：- 让ChatGPT阅读问题描述，在单轮对话中生成相应代码。（最大对话轮数设为1）- 使用LeetCode平台上的编程问题作为数据集，截止研究时，有2500个难度不等的问题。- 将LeetCode所有问题分为2021年之前（Bef.problems）和2021年之后（Aft.problems）两类，因为ChatGPT的训练数据截止于2021年。- 考虑到2021年之前的问题可能已存在于ChatGPT的训练集中，这可能使代码生成任务退化为简单的数据库查询（即代码复用）。为了进行全面评估，研究中同时考虑了这两类问题。具体而言，研究人员重点关注LeetCode上的算法问题，因为算法问题是该平台上最重要、最多和最多样化的问题。Bef.problems和Aft.problems的总数分别为1624个和354个。此外，两者的难度分布为难、中、易，比例为1:2:1。在所有Bef.problems中，作者随机抽取了374个问题，其数量与Aft.problems相似，难度分布也与Aft.problems相同。同样，在354个Aft.problems和Bef.problems中，难、中、易问题的数量比例也是1:2:1，与LeetCode平台上所有问题的难度分布一致。此外，研究人员还检查了Bef.problems和Aft.problems之间是否存在显著差异。如果Aft.problems只是Bef.problems的重构，那么ChatGPT很可能可以轻松解决这些问题，这可能会影响实验结果在区分时间段方面的可靠性。论文中，作者总共找到了142对问题。然后，再让2名研究生独立检查这些问题对。通过仔细核对和讨论，结果发现这些相似的问题要么情景相似，但求解目标完全不同；要么情景和条件不同，但可以使用类似的算法（如动态编程）求解。经过仔细的人工分析，作者没有发现在任何情况下，Bef.problems可以很容易地重新表述为Aft.problems。因此，作者认为Aft.problems和Bef.problems之外，对于每个问题，都要求ChatGPT用5种不同的语言生成代码：C、C++、Java、Python3和JavaScript。此外，他们还使用相同的提示模板为每个 < 问题、语言> 对创建了相应的提示。Bef.problems和Aft.problems分别共有1,870和1,770个提示。由于ChatGPT的查询速度有限，研究者将每条提示输入一次，要求生成代码。然后，研究者将解析后的解决方案，提交给LeetCode进行功能正确性判断，并得到提交状态，包括接受、回答错误、编译错误、超过时间限制和运行错误。它们分别对应于A.、W.A.、C.E.、T.L.E.和R.E.。一个问题对应一个唯一的对话，以避免从其他问题触发ChatGPT的推理。实验中，作者以状态率（SR）来评估 ChatGPT 的代码生成能力。其中和分别是根据状态生成的代码片段数和输入的提示数。提示：所设计的提示模板由4个部分组成：它们分别是<Content>、<Examples>、<Template>和<Command>。<Content> 用自然语言描述问题，<Examples> 显示功能正确的代码 <input, output> 对，<Template> 指定生成代码的方法签名（method signature），<Command> 要求用特定语言生成代码。结果：表1和表2显示，LeetCode对五种编程语言在两个时间段、两种形式下的代码生成结果、SR以及相应的相对频率柱形图。由于Python3和JavaScript都是动态编程语言，因此这两列不包含C.E.。从总体结果来看，ChatGPT为Bef.problems生成的功能正确代码的A.率明显高于Aft.problems。具体来说，Bef.problems的五种语言平均正确率（68.41%）比Aft.problems的（20.27%）高出 48.14%。五种语言在不同阶段的代码生成性能差异显著，P值为0.008，效应大小值为1。对于Aft.problems，总体正确率低于25%，其中难、中、易问题的正确率分别为0.66%、13.90%和52.47%。用Holm-Bonferroni校正程序调整的P值和五种语言不同难度之间的效应大小值分别小于0.05和等于1。结果表明，面对Aft.problems，随着问题难度的增加，ChatGPT在功能上正确生成代码的能力明显下降。此外，即使是简单的问题，它也只能正确回答一半。在这五项/四项指标中，W.A.率是所有语言中最高的一项，达到58%。此外，每个W.A.代码片段平均有109个测试用例，而ChatGPT生成的代码只能通过其中的25%。难题、中难题和简单难题的测试用例通过率分别为20.90%、21.03%和38.41%。因此，无论难度如何，生成代码的语义都与相应问题描述的逻辑有很大差异。此外，C.E.率和R.E.率也都达到了16%，而且难题和中难题的C.E.率明显高于简单难题。ChatGPT生成的中难题代码，更容易出现编译和运行时错误。比如，图4中显示生成的函数cmpfunc，在调用前没有声明。语法错误只占这些错误的一小部分（3.7%）。至于T.L.E.率，虽然数值不高（6%），但测试用例的平均通过率为51%，高于W.A.代码片段。T.L.E.问题的难、中、易三个难度级别的测试用例，平均通过率分别为68%、50%和1%（易问题由于其T.L.E.率接近0%，可以忽略不计）。由于T.L.E.代码片段的测试用例通过率是部分的，不过生成的代码中最多还有6%在功能上... PC版： 手机版：