【彭博社发布专注金融界的大型语言模型 BloombergGPT 论文】

【彭博社发布专注金融界的大型语言模型BloombergGPT论文】3月31日消息，彭博社发布为金融界构建的大型语言模型（LLM）BloombergGPT论文，该模型依托彭博社的大量金融数据源，构建了一个3630亿个标签的数据集，支持金融行业内的各类任务。在BloombergGPT相关论文中显示，BloombergGPT的优势包括特定领域模型仍有其不可替代性且彭博数据来源可靠，金融相关任务上的性能明显优于现有模型等。

彭博社发布专注金融界的大型语言模型 BloombergGPT 论文

彭博社发布专注金融界的大型语言模型BloombergGPT论文3月31日消息，彭博社发布为金融界构建的大型语言模型（LLM）BloombergGPT论文，该模型依托彭博社的大量金融数据源，构建了一个3630亿个标签的数据集，支持金融行业内的各类任务。在BloombergGPT相关论文中显示，BloombergGPT的优势包括特定领域模型仍有其不可替代性且彭博数据来源可靠，金融相关任务上的性能明显优于现有模型等。频道:@TestFlightCN

GPT-4o再度引爆AI热潮 分析师警告：HBM供不应求将持续全年

GPT-4o再度引爆AI热潮分析师警告：HBM供不应求将持续全年HBM今明两年库存已经几乎售罄人工智能热潮下，高端存储芯片备受市场追捧。近日，两家全球最大的存储芯片供应商——SK海力士和美光都已经表示，2024年的高带宽存储芯片（HBM）已经售罄，而2025年的库存也几乎售罄。″我们预计整体内存供应在整个2024年都将保持紧张。”晨星股票研究主管KazunoriIto在最新报告中写到。对于像OpenAI的ChatGPT这样的大语言模型来说，HBM芯片在其模型训练中发挥着至关重要的作用。大语言模型非常需要这些芯片来记住过去与用户对话的细节和他们的偏好，从而针对用户查询给出类似人类的反馈。“这些芯片的制造更为复杂，提高产量一直很困难。这可能会在2024年剩余时间和2025年大部分时间造成短缺，”纳斯达克IRIntelligence主管威廉•贝利（WilliamBailey）表示。今年3月，市场情报公司TrendForce曾表示，与个人电脑和服务器中常见的DDR5内存芯片相比，HBM的生产周期要长1.5至2个月。为了满足日益增长的需求，SK海力士计划在美国印第安纳州投资先进的封装设施，并在韩国清州市的M15X工厂和韩国龙仁市半导体园区投资，扩大产能。今年4月，三星在其第一季度财报电话会议上表示，其2024年的HBM供应“比去年增长了三倍以上”。“我们已经完成了与客户就承诺供应的讨论。到2025年，我们将继续以每年至少两倍或更多的速度扩大供应，我们已经就供应问题与客户进行了顺利的谈判。”三星当时表示。“AI竞赛”仍如火如荼目前，大型科技公司微软、亚马逊和谷歌正展开“AI竞赛”，纷纷斥资数十亿美元培训自己的大语言模型，以保持市场竞争力。在这场“AI竞赛”中，市场对人工智能芯片的需求飙升，而英伟达及其上游的SK海力士等芯片公司都从中受益。“人工智能芯片的大买家——像Meta和微软这样的公司——已经表示，他们计划继续投入资源建设人工智能基础设施。这意味着，至少到2024年底，他们都将大量购买包括HBM在内的人工智能芯片。”《芯片战争》一书作者克里斯·米勒（ChrisMiller）表示。为了抓住人工智能热潮，芯片制造商们正在激烈竞争，以制造市场上最先进的存储芯片。SK海力士在本月初举行的记者招待会上表示，将于第三季度开始批量生产最新一代HBM芯片——12层HBM3E。三星电子在业界率先推出了这种芯片的样品，计划在第二季度开始批量生产。“目前，三星在12层HBM3E采样工艺方面处于领先地位。”大和证券(DaiwaSecurities)执行董事兼分析师SKKim表示，“如果他们能比同行更早获得认证，我认为它可以在2024年底和2025年获得多数市场份额。”相关文章:厂商对AI需求展望极具信心明年HBM内存价格最高再涨10%HBM的争夺已是“刺刀见红”...PC版：https://www.cnbeta.com.tw/articles/soft/1430864.htm手机版：https://m.cnbeta.com.tw/view/1430864.htm

ChatGPT插件重磅上线 不只“联网” 还将打造强大AI生态

ChatGPT插件重磅上线不只“联网”还将打造强大AI生态简单来说就是，ChatGPT终于“联网”了，也可以通过第三方插件，在衣食住以及工作、学习等方方面面更好地为用户提供服务。需要注意的是，现在仍是“Alpha阶段”，OpenAI将从候补列表中将插件逐步开放，最初将优先考虑少数开发人员和ChatGPTPlus用户。但是，OpenAI“更大规模地开放”，将只是“时间的问题”。如果说ChatGPT是AI的“iPhone时刻”，那么就在今天，它又亲手搭建起了“AppStore”。终于“联网”，NewBing尴尬了？此前，ChatGPT的训练数据库仅更新至2021年，GPT-4的训练数据也只追踪到2021年9月。而在今天，OpenAI亲自下场推出了“网络浏览器”插件，这一“缺憾”将不复存在。OpenAI表示，“在WebGPT、GopherCite、BlenderBot2、LAMDA2等一系列工作的激励下，允许语言模型从互联网上阅读信息，这将严格地扩大其可以讨论的内容量，从培训语料库直到当下的新鲜信息。”以近期热点，第九十五届奥斯卡颁奖典礼为例。此前，ChatGPT会礼貌地指出，其训练数据没有包含足够的信息来让它回答。如今在“网络浏览器”的支持下，ChatGPT就可以检索有关最新奥斯卡的最新信息，然后进行了一番熟悉的ChatGPT诗歌表演，浏览成为了一种附加体验的方式。需要注意的是，上述插件只支持GET请求，不支持POST。也就是说，用户使用这一插件的范围只限定在检索信息，并不包括“事务性操作”，比如表单提交。同时，OpenAI的“浏览”使用必应搜索API从网络中检索内容。得益于此，ChatGPT也继承了微软在信息的来源可靠性和真实性以及防止检索有问题内容的“安全模式”方面的大量工作。此外，该插件在独立服务器中运行，因此ChatGPT的浏览活动将与基础设施的其他部分分开。虽说OpenAI与微软关系匪浅，微软也将ChatGPT整合至Bing搜索引擎，推出了NewBing。截至3月20日的数据显示，微软NewBing以来，必应上的页面访问量增长了15.8%，而Google搜索引擎的访问量下降了近1个百分点。但是，伴随“网络浏览器”插件的发布，NewBing的使用频率自然也会受到影响。无需过分担心，微软早有准备。微软早在一周前就宣布将通过Microsoft365Copilot，植入GPT-4模型。据瑞士信贷估计，如果微软3.7亿商用Office365用户中的10%升级为AI增强的版本，那么未来5年将可以产生149亿美元收入。解数学题、数据可视化、格式转换，更多用途待挖掘除了“网络浏览器”插件，OpenAI亲自推出的另一款插件为“代码解释器”。具体而言，OpenAI在沙盒化、防火墙的执行环境中为模型提供了一个工作的Python解释器，以及一些临时的磁盘空间。由解释器插件运行的代码会在持续会话中进行评估，并且后续调用可以相互构建。目前，该功能支持将文件上传到当前对话工作区并下载工作结果。目前，OpenAI从最初的用户研究中，确定了使用代码解释器特别有用的例子：解决定量和定性等数学问题、进行数据分析和可视化、在格式之间转换文件。在相关演示视频中，OpenAI主要演示了三部分内容：通过函数来生成与修改图表；解析CSV文件内容，并获取、分析表格数据、生成可视化图表；上传图片，动态调整图片大小、灰度、色调，并生成下载链接。不过，OpenAI也表示，这一代码解释器主要还是提供计算机的一些最基本的功能，为一些初级程序员和爱好者提供更顺畅的接口。后续，伴随使用者的增加，这款代码解释器的更多用途功能，也将逐步被挖掘出来。而在“安全性”方面，将ChatGPT模型连接到编程语言解释器的首要防范措施是对执行进行适当的沙盒处理，以便AI生成的代码不会在现实世界中产生意外的副作用。OpenAI会在安全环境中执行代码，并使用严格的网络控制来防止外部互联网访问执行代码。此外，OpenAI对每个会话都设置了资源限制。除了设置沙盒，保障隔离之外，OpenAI还联合内外部人员进行了多次红队演练，确保插件开发者不会进行prompt注入、发送诈骗和垃圾邮件、绕过插件防御系统来安装后门程序等行为。衣食住行用全能，打造类“AppStore”AI生态在GPT-4发布时，除了性能的提升，OpenAI就表示已经有多家公司将GPT-4搭载到他们的产品中。包括：语言学习工具软件多邻国（Duolingo）、帮助视障用户的软件BeMyEyes、移动支付公司Stripe、国际性金融服务公司摩根士丹利（MorganStanley）和可汗学院（KhanAcademy）。此外，OpenAI还公布了GPT-4与冰岛政府合作的服务场景。如果说上述“落地”是对外赋能，相当于为他人做嫁衣。那么，OpenAI推出插件功能，就相当于内生性升级，以海纳百川的姿态，最终形成庞大的生态。目前，OpenAI首批开放可使用的第三方插件包括Expedia（旅行）、FiscalNote、Instacart（购物）、KAYAK（航班住宿出行）、Klarna、Milo、OpenTable（餐饮与外卖）、Shopify、Slack、Speak、Wolfram、Zapier。需要注意的是，Zapier是无代码自动化的领导者——与来自Google、Salesforce和微软等合作伙伴的五千多个应用程序集成。作为一款自动化工具，Zapier可以帮用户创建自动化的工作流，帮你连接你的应用、软件&各种服务。Zapier的整体理念就是通过触发条件&执行条件来创建自动化的命令，“如果这个条件触发了，那么就执行这个动作”。而这也意味着，ChatGPT的体检将会更便捷、更丝滑。外界普遍认为，ChatGPT插件系统的上线，就如同苹果开放AppStore一样。而OpenAI也正通过此举，建立起自己的AI生态帝国。对于开发者来说，ChatGPT插件若能像AppStore那样增加“付费”机制，也将会是“双赢”的局面。OpenAI创始人SamAltman表示，“您可以安装插件来帮助完成各种各样的任务，我们很期待看到开发者创造了什么！”...PC版：https://www.cnbeta.com.tw/articles/soft/1350983.htm手机版：https://m.cnbeta.com.tw/view/1350983.htm

Midjourney劲敌来了 Google StyleDrop王牌“定制大师”引爆AI艺术圈

Midjourney劲敌来了GoogleStyleDrop王牌“定制大师”引爆AI艺术圈再来一张卡通风，想要绘制的物体呆萌了许多。甚至，它还能精准把控细节，设计出原风格的logo。StyleDrop的魅力在于，只需要一张图作为参考，无论多么复杂的艺术风格，都能解构再复刻。网友纷纷表示，又是淘汰设计师的那种AI工具。StyleDrop爆火研究便是来自Google研究团队最新出品。论文地址：https://arxiv.org/pdf/2306.00983.pdf现在，有了StyleDrop这样的工具，不但可以更可控地绘画，还可以完成之前难以想象的精细工作，比如绘制logo。就连英伟达科学家将其称为“现象级”成果。“定制”大师论文作者介绍道，StyleDrop的灵感来源Eyedropper（吸色/取色工具）。同样，StyleDrop同样希望大家可以快速、毫不费力地从单个/少数参考图像中“挑选”样式，以生成该样式的图像。一只树懒能够有18种风格：一只熊猫有24种风格：小朋友画的水彩画，StyleDrop完美把控，甚至连纸张的褶皱都还原出来了。不得不说，太强了。还有StyleDrop参考不同风格对英文字母的设计：同样是梵高风的字母。还有线条画。线条画是对图像的高度抽象，对画面生成构成合理性要求非常高，过去的方法一直很难成功。原图中奶酪阴影的笔触还原到每种图片的物体上。参考AndroidLOGO创作。此外，研究人员还拓展了StyleDrop的能力，不仅能定制风格，结合DreamBooth，还能定制内容。比如，还是梵高风，给小柯基生成类似风格的画作：再来一个，下面这只柯基有种埃及金字塔上的“狮身人面像”的感觉。如何工作？StyleDrop基于Muse构建，由两个关键部分组成：一个是生成视觉Transformer的参数有效微调，另一个是带反馈的迭代训练。之后，研究人员再从两个微调模型中合成图像。Muse是一种基于掩码生成图像Transformer最新的文本到图像的合成模型。它包含两个用于基础图像生成(256×256)和超分辨率(512×512或1024×1024)的合成模块。每个模块都由一个文本编码器T，一个transformerG，一个采样器S，一个图像编码器E和解码器D组成。T将文本提示t∈T映射到连续嵌入空间E。G处理文本嵌入e∈E以生成视觉token序列的对数l∈L。S通过迭代解码从对数中提取视觉token序列v∈V，该迭代解码运行几步的transformer推理，条件是文本嵌入e和从前面步骤解码的视觉token。最后，D将离散token序列映射到像素空间I。总的来说，给定一个文本提示t，图像I的合成如下：图2是一个简化了的Musetransformer层的架构，它进行了部分修改，为的是支持参数高效微调（PEFT）与适配器。使用L层的transformer处理在文本嵌入e的条件下以绿色显示的视觉token序列。学习参数θ被用于构建适配器调优的权重。为了训练θ，在许多情况下，研究人员可能只给出图片作为风格参考。研究人员需要手动附加文本提示。他们提出了一个简单的、模板化的方法来构建文本提示，包括对内容的描述，后面跟着描述风格的短语。例如，研究人员在表1中用“猫”描述一个对象，并附加“水彩画”作为风格描述。在文本提示中包含内容和风格的描述至关重要，因为它有助于从风格中分离出内容，这是研究人员的主要目标。图3则是带反馈的迭代训练。当在单一风格参考图像（橙色框）上进行训练时，StyleDrop生成的一些图像可能会展示出从风格参考图像中提取出的内容（红色框，图像背景中含有与风格图像类似的房子）。其他图像（蓝色框）则能更好地从内容中拆分出风格。对StyleDrop进行好样本（蓝色框）的迭代训练，结果在风格和文本保真度之间取得了更好的平衡（绿色框）。这里研究人员还用到了两个方法：-CLIP得分该方法用于测量图像和文本的对齐程度。因此，它可以通过测量CLIP得分（即视觉和文本CLIP嵌入的余弦相似度）来评估生成图像的质量。研究人员可以选择得分最高的CLIP图像。他们称这种方法为CLIP反馈的迭代训练（CF）。在实验中，研究人员发现，使用CLIP得分来评估合成图像的质量是提高召回率（即文本保真度）的有效方式，而不会过多损失风格保真度。然而从另一方面看，CLIP得分可能不能完全与人类的意图对齐，也无法捕捉到微妙的风格属性。-HF人工反馈（HF）是一种将用户意图直接注入到合成图像质量评估中的更直接的方式。在强化学习的LLM微调中，HF已经证明了它的强大和有效。HF可以用来补偿CLIP得分无法捕捉到微妙风格属性的问题。目前，已有大量研究关注了文本到图像的扩散模型的个性化问题，以合成包含多种个人风格的图像。研究人员展示了如何以简单的方式将DreamBooth和StyleDrop结合起来，从而使风格和内容都能实现个性化。这是通过从两个修改后的生成分布中采样来完成的，分别由风格的θs和内容的θc指导，分别是在风格和内容参考图像上独立训练的适配器参数。与现有的成品不同，该团队的方法不需要在多个概念上对可学习的参数进行联合训练，这就带来了更大的组合能力，因为预训练的适配器是分别在单个主题和风格上进行训练的。研究人员的整体采样过程遵循等式(1)的迭代解码，每个解码步骤中采样对数的方式有所不同。设t为文本提示，c为无风格描述符的文本提示，在步骤k计算对数如下：其中：γ用于平衡StyleDrop和DreamBooth——如果γ为0，我们得到StyleDrop，如果为1，我们得到DreamBooth。通过合理设置γ，我们就可以得到合适的图像。实验设置目前为止，还没有对文本-图像生成模型的风格调整进行广泛的研究。因此，研究人员提出了一个全新实验方案：-数据收集研究者收集了几十张不同风格的图片，从水彩和油画，平面插图，3D渲到不同材质的雕塑。-模型配置研究人员使用适配器调优基于Muse的StyleDrop。对于所有实验，使用Adam优化器更新1000步的适配器权重，学习速率为0.00003。除非另有说明，研究人员使用StyleDrop来表示第二轮模型，该模型在10多个带有人工反馈的合成图像上进行训练。-评估研究报告的定量评估基于CLIP，衡量风格一致性和文本对齐。此外，研究人员进行了用户偏好研究，以评估风格一致性和文本对齐。如图，研究人员收集的18个不同风格的图片，StyleDrop处理的结果。可以看到，StyleDrop能够捕捉各种样式的纹理、阴影和结构的细微差别，能够比以前更好地控制风格。为了进行比较，研究人员还介绍了DreamBooth在Imagen上的结果，DreamBooth在StableDiffusion上的LoRA实现和文本反演的结果。具体结果如表所示，图像-文本对齐（Text）和视觉风格对齐（Style）的人类评分（上）和CLIP评分（下）的评价指标。(a)DreamBooth，(b)StyleDrop，和(c)DreamBooth+StyleDrop的定性比较：这里，研究人员应用了上面提到的CLIP分数的两个指标——文本和风格得分。对于文本得分，研究人员测量图像和文本嵌入之间的余弦相似度。对于风格得分，研究人员测量风格参考和合成图像嵌入之间的余弦相似度。研究人员为190个文本提示生成总共1520个图像。虽然研究人员希望最终得分能高一些，但其实这些指标并不完美。而迭代训练（IT）提高了文本得分，这符合研究人员的目标。然而，作为权衡，它们在第一轮模型上的风格得分有所降低，因为它们是在合成图像上训练的，风格可能因选择偏见而偏移。Imagen上的DreamBooth在风格得分上不及StyleDrop（HF的0.644对比0.694）。研究人员注意到，Imagen上的DreamBooth的风格得分增加并不明显（0.569→0.644），而Muse上的StyleDrop的增加更加明显（0.556→0.694）。研究人员分析，Muse上的风格微调比Imagen上的更有效。另外，在细粒度控制上，StyleDrop捕捉微妙的风...PC版：https://www.cnbeta.com.tw/articles/soft/1363333.htm手机版：https://m.cnbeta.com.tw/view/1363333.htm