微软开源 Visual ChatGPT

OpenAI的ChatGPT（GPT3版本）是基于大语言模型，专门训练以文本形式的对话与用户互动。它不是基于多模态模型，不支持图像或语音的输入输出。如果我们想要构建一个类似ChatGPT的支持图像理解和生成的系统，那么可能需要使用一个多模态会话模型进行训练。但此类的训练需要消耗大量的数据和算力资源。与此从头开始构建一个全新的系统，不如站在巨人的肩膀上。微软亚洲研究院的研究人员在预印本网站arxiv上发表论文《VisualChatGPT:Talking,DrawingandEditingwithVisualFoundationModels》，提出在ChatGPT 和多个VisualFoundationModels基础上构建VisualChatGPT。源代码托管在GitHub上。投稿：@ZaiHuabot频道：@TestFlightCN

chatGPTBox：一个浏览器插件，借助ChatGPT或new bing的Web接口或者Open AI的API，可以

chatGPTBox：一个浏览器插件，借助ChatGPT或newbing的Web接口或者OpenAI的API，可以在任何页面随时呼出聊天对话框(Ctrl+B)支持手机等移动设备通过右键菜单总结任意页面(Alt+B)独立对话页面(Ctrl+Shift+H)多种API支持(免费用户和Plus用户可用WebAPI,此外还有GPT-3.5,GPT-4,NewBing,自托管支持等)对各种常用网站的集成适配(reddit,quora,youtube,github,gitlab,stackoverflow,zhihu,bilibili)(受到wimdenherder启发)对所有主流搜索引擎的适配,并支持自定义查询以支持额外的站点框选工具与右键菜单,执行各种你的需求,如翻译,总结,润色,情感分析,段落划分,代码解释,问询静态卡片支持浮出聊天框,进行多分支对话随意保存你的完整对话记录,或进行局部复制强大的渲染支持,不论是代码高亮,还是复杂数学公式多语言偏好支持自定义API地址支持所有站点适配与工具均可自由开关,随时停用你不需要的模块工具与站点适配开发易于扩展,对于开发人员易于自定义,请查看开发&贡献部分此外,如果回答有任何不足,直接聊天解决!#插件

ChatGPT插件重磅上线 不只“联网” 还将打造强大AI生态

ChatGPT插件重磅上线不只“联网”还将打造强大AI生态简单来说就是，ChatGPT终于“联网”了，也可以通过第三方插件，在衣食住以及工作、学习等方方面面更好地为用户提供服务。需要注意的是，现在仍是“Alpha阶段”，OpenAI将从候补列表中将插件逐步开放，最初将优先考虑少数开发人员和ChatGPTPlus用户。但是，OpenAI“更大规模地开放”，将只是“时间的问题”。如果说ChatGPT是AI的“iPhone时刻”，那么就在今天，它又亲手搭建起了“AppStore”。终于“联网”，NewBing尴尬了？此前，ChatGPT的训练数据库仅更新至2021年，GPT-4的训练数据也只追踪到2021年9月。而在今天，OpenAI亲自下场推出了“网络浏览器”插件，这一“缺憾”将不复存在。OpenAI表示，“在WebGPT、GopherCite、BlenderBot2、LAMDA2等一系列工作的激励下，允许语言模型从互联网上阅读信息，这将严格地扩大其可以讨论的内容量，从培训语料库直到当下的新鲜信息。”以近期热点，第九十五届奥斯卡颁奖典礼为例。此前，ChatGPT会礼貌地指出，其训练数据没有包含足够的信息来让它回答。如今在“网络浏览器”的支持下，ChatGPT就可以检索有关最新奥斯卡的最新信息，然后进行了一番熟悉的ChatGPT诗歌表演，浏览成为了一种附加体验的方式。需要注意的是，上述插件只支持GET请求，不支持POST。也就是说，用户使用这一插件的范围只限定在检索信息，并不包括“事务性操作”，比如表单提交。同时，OpenAI的“浏览”使用必应搜索API从网络中检索内容。得益于此，ChatGPT也继承了微软在信息的来源可靠性和真实性以及防止检索有问题内容的“安全模式”方面的大量工作。此外，该插件在独立服务器中运行，因此ChatGPT的浏览活动将与基础设施的其他部分分开。虽说OpenAI与微软关系匪浅，微软也将ChatGPT整合至Bing搜索引擎，推出了NewBing。截至3月20日的数据显示，微软NewBing以来，必应上的页面访问量增长了15.8%，而Google搜索引擎的访问量下降了近1个百分点。但是，伴随“网络浏览器”插件的发布，NewBing的使用频率自然也会受到影响。无需过分担心，微软早有准备。微软早在一周前就宣布将通过Microsoft365Copilot，植入GPT-4模型。据瑞士信贷估计，如果微软3.7亿商用Office365用户中的10%升级为AI增强的版本，那么未来5年将可以产生149亿美元收入。解数学题、数据可视化、格式转换，更多用途待挖掘除了“网络浏览器”插件，OpenAI亲自推出的另一款插件为“代码解释器”。具体而言，OpenAI在沙盒化、防火墙的执行环境中为模型提供了一个工作的Python解释器，以及一些临时的磁盘空间。由解释器插件运行的代码会在持续会话中进行评估，并且后续调用可以相互构建。目前，该功能支持将文件上传到当前对话工作区并下载工作结果。目前，OpenAI从最初的用户研究中，确定了使用代码解释器特别有用的例子：解决定量和定性等数学问题、进行数据分析和可视化、在格式之间转换文件。在相关演示视频中，OpenAI主要演示了三部分内容：通过函数来生成与修改图表；解析CSV文件内容，并获取、分析表格数据、生成可视化图表；上传图片，动态调整图片大小、灰度、色调，并生成下载链接。不过，OpenAI也表示，这一代码解释器主要还是提供计算机的一些最基本的功能，为一些初级程序员和爱好者提供更顺畅的接口。后续，伴随使用者的增加，这款代码解释器的更多用途功能，也将逐步被挖掘出来。而在“安全性”方面，将ChatGPT模型连接到编程语言解释器的首要防范措施是对执行进行适当的沙盒处理，以便AI生成的代码不会在现实世界中产生意外的副作用。OpenAI会在安全环境中执行代码，并使用严格的网络控制来防止外部互联网访问执行代码。此外，OpenAI对每个会话都设置了资源限制。除了设置沙盒，保障隔离之外，OpenAI还联合内外部人员进行了多次红队演练，确保插件开发者不会进行prompt注入、发送诈骗和垃圾邮件、绕过插件防御系统来安装后门程序等行为。衣食住行用全能，打造类“AppStore”AI生态在GPT-4发布时，除了性能的提升，OpenAI就表示已经有多家公司将GPT-4搭载到他们的产品中。包括：语言学习工具软件多邻国（Duolingo）、帮助视障用户的软件BeMyEyes、移动支付公司Stripe、国际性金融服务公司摩根士丹利（MorganStanley）和可汗学院（KhanAcademy）。此外，OpenAI还公布了GPT-4与冰岛政府合作的服务场景。如果说上述“落地”是对外赋能，相当于为他人做嫁衣。那么，OpenAI推出插件功能，就相当于内生性升级，以海纳百川的姿态，最终形成庞大的生态。目前，OpenAI首批开放可使用的第三方插件包括Expedia（旅行）、FiscalNote、Instacart（购物）、KAYAK（航班住宿出行）、Klarna、Milo、OpenTable（餐饮与外卖）、Shopify、Slack、Speak、Wolfram、Zapier。需要注意的是，Zapier是无代码自动化的领导者——与来自Google、Salesforce和微软等合作伙伴的五千多个应用程序集成。作为一款自动化工具，Zapier可以帮用户创建自动化的工作流，帮你连接你的应用、软件&各种服务。Zapier的整体理念就是通过触发条件&执行条件来创建自动化的命令，“如果这个条件触发了，那么就执行这个动作”。而这也意味着，ChatGPT的体检将会更便捷、更丝滑。外界普遍认为，ChatGPT插件系统的上线，就如同苹果开放AppStore一样。而OpenAI也正通过此举，建立起自己的AI生态帝国。对于开发者来说，ChatGPT插件若能像AppStore那样增加“付费”机制，也将会是“双赢”的局面。OpenAI创始人SamAltman表示，“您可以安装插件来帮助完成各种各样的任务，我们很期待看到开发者创造了什么！”...PC版：https://www.cnbeta.com.tw/articles/soft/1350983.htm手机版：https://m.cnbeta.com.tw/view/1350983.htm

号称媲美GPT-3.5且免费 ChatGPT的替代品要拆掉OpenAI的围墙

号称媲美GPT-3.5且免费ChatGPT的替代品要拆掉OpenAI的围墙英伟达AI科学家JimFan称赞道：HuggingChat是ChatGPT的开源替代品，并表示如果后续开发成应用程序，HuggingFace比OpenAI更具优势。ChatGPT的问世改变了聊天机器人领域的格局，它强大的功能令人惊叹，但目前OpenAI几乎不可能将其开源。为了追赶ChatGPT，开源社区做了很多努力。包括Meta开源的LLaMA系列模型及其二创等等。一些开源模型在某些方面的性能已可与ChatGPT媲美。公司估值达20亿美元HuggingFace成立于2016年，与其他同期创业公司类似，成立初期奔跑在聊天机器人赛道。最初，HuggingFace推出一款面向青少年的聊天机器人APP，其用AI技术生成的表情和笑话，旨在为青少年提供情感疏导、娱乐服务。例如，当用户发送自拍照，或者是一个悲伤的表情时，聊天机器人能够做出相应的反应。然而，公司发展并没有很大起色，苦于破局的创始人转向训练聊天机器人的NLP能力，同时构建了一个底层库来容纳各种机器学习模型和数据集，并且作为开源项目公开发布。无心插柳柳成荫，HuggingFace迅速走红。如今，聊天机器人早已从AppStore中下架，而HuggingFace却成为GitHub史上增长最快的机器学习库，其Transformer开源库累计有96302个Star和20000多个分支。此外，HuggingFace提交共享了166894个训练模型，26900个数据集。成立六年多时间里，HuggingFace估值一路冲高。在去年的C轮融资中，公司估值达20亿美元，由LuxCapital领投，红杉基金等跟投，NBA球星杜兰特也入股了。至于公司的创始人，个个都是硅谷创业老兵。公司首席执行官ClémentDelangue曾创立过笔记平台VideoNot，首席技术官JulienChaumond大学毕业就在硅谷创业，2015年结束创业生涯从事起了AI开发，首席科学家ThomasWolf则是一名自然语言处理界的大牛。某种程度上，HuggingFace是在构建人工智能领域的“GitHub”，让其成为一个由社区开发者驱动的开源平台。人工智能“iPhone时刻”已到？据证券时报4月26日报道，有关生成式AI对行业的影响，英伟达创始人兼CEO黄仁勋称人工智能“iPhone时刻”已经到来。对此，IDC中国副总裁兼首席分析师武连峰表示认同：“ChatGPT的出现，实现了与消费者的自然对话，生成式AI五年或十年以后有可能相当于iPhone对移动互联网产生的影响。”武连峰告诉记者，任何一个新技术对市场的影响无非三大层面：一是创造新商业模式、产品或者服务；二是改造传统行业，降本增效；三是颠覆传统行业。“生成式AI的核心是技术和业务深度融合，从量变发展到质变，我认为生成式AI，可能成为新的入口或者是操作系统。”武连峰举例说，Notion是一款笔记程序，以前没有ChatGPT的时候，它主要是做笔记的功能，但接入ChatGPT后，可以直接让它帮助列演讲提纲，将AI、笔记功能完美结合在一块了。另外，在武连峰看来，生成式AI另一个方向往OpenAI安装插件，类似于微信小程序，现在有十几个插件。ChatGPT如果变成用户对话入口，并装上插件，用户采用自然语言对话，就可以完成所有功能，包括支付、打车、订餐，统统集成进去。“因此，生成式AI可能变成一个新的入口或者操作系统，ChatGPT的核心是生成式AI。”武连峰表示。据了解，操作系统下接硬件，上接应用，如果生成式AI都能像基础操作系统或成为一个软件接口，那么各行各业的应用开发者都可以根据自己需要选择适配生成式AI所具备的参数，再通过后期训练以及代码优化、加工等，封装成市场化应用产品，这样的程序开发既简单又高效，且不再需要做AI那部分程序开发，就能自动接入生成式AI所具备的AI能力。萨摩耶云科技集团首席经济学家郑磊对记者表示，生成式AI的应用型开发远比大模型基础开发更简单，更依赖企业在特定产业积累的专业技能，成本较低，效益明显，而且投入资金可以根据研发产品的目标进行弹性调整，也适合中小企业参与。武连峰也提到，生成式AI从C端破圈以后慢慢会往B端渗透，无论是垂直AI或未来的通用AI，接下来还可能向量子计算、元宇宙和web3.0进一步延伸。...PC版：https://www.cnbeta.com.tw/articles/soft/1356961.htm手机版：https://m.cnbeta.com.tw/view/1356961.htm

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了

Google加入开源战局低配版Gemma相当于OpenAI把GPT-3开源了怎么理解这个动作的重要性呢？你可以粗暴的理解为：这有点像现在正在训练更强大的GPT-5的OpenAI，把GPT3的低参数版给开源了。（前几天SamAltman被问过这个问题，你们是否会在未来把GPT3开源，他没有直接回答。现在看来Google针对性很强啊。）（X上一张有意思的图）根据Google官方对Gemma的介绍，它的基本信息如下：Gemma是Google开源的一个大型语言模型，而非像Gemini那样是多模态的，它基于与Gemini相同的技术构建，但完全公开并允许商用授权。Gemma模型有两个主要版本，分别是Gemma7B（70亿参数）和Gemma2B（20亿参数）。这些模型在大规模的数据集上进行了训练，数据集包含了以英语为主的网络文档、数学数据以及代码数据，总量达到了6万亿tokens。Gemma模型的特点包括：架构细节：Gemma模型具有不同的参数规模，Gemma-2B有18层，d_model为2048，而Gemma-7B有28层，d_model为3072。这些模型还具有不同的前馈隐藏维度、头数和KV头数，以及词汇量。新技术：Gemma采用了一些新技术，如Multi-QueryAttention、RoPEEmbeddings、GeGLU激活函数以及NormalizerLocation，这些技术有助于提高模型的性能。评测结果：Google官方宣称Gemma模型在70亿参数规模的语言模型中表现最佳，甚至超过了一些参数量更大的模型。开源情况：Gemma模型遵循一个自定义的开源协议，允许商业使用。发布完，JeffDean就对这个系列模型划了重点：Gemma-7B模型在涵盖通用语言理解、推理、数学和编程的8项基准测试中，性能超过了广泛使用的Llama-27B和13B模型。它在数学/科学和编程相关任务上，通常也超过了Mistral7B模型的性能。Gemma-2BIT和Gemma-7BIT这两个经过指令调整的模型版本，在基于人类偏好的安全评估中，都优于Mistral-7Bv0.2指令模型。特别是Gemma-7BIT模型在遵循指令方面也表现更佳。（有意思的是，在Google晒出的成绩对比中，阿里的千问背后的模型Qwen系列表现也很亮眼）我们也发布了一个负责任的生成性人工智能工具包（ResponsibleGenerativeAIToolkit），它为负责任地使用像Gemma模型这样的开放模型提供了资源，包括：关于设定安全政策、安全调整、安全分类器和模型评估的指导。学习可解释性工具（LearningInterpretabilityTool，简称LIT），用于调查Gemma的行为并解决潜在问题。一种构建具有最小样本量的强大安全分类器的方法论。我们发布了两个版本的模型权重：Gemma2B和Gemma7B。每个版本都提供了预训练和指令调整的变体。我们为所有主要框架提供了推理和监督式微调（SFT）的工具链：通过原生Keras3.0支持的JAX、PyTorch和TensorFlow。提供了即用型的Colab和Kaggle笔记本，以及与流行的工具如HuggingFace、MaxText、NVIDIANeMo和TensorRT-LLM的集成，使得开始使用Gemma变得简单。预训练和指令调整的Gemma模型可以在您的笔记本电脑、工作站或GoogleCloud上运行，并且可以轻松部署在VertexAI和GoogleKubernetesEngine（GKE）上。在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIAGPU和GoogleCloudTPUs。使用条款允许所有规模的组织负责任地进行商业使用和分发。可以看到JeffDean和Google这次都十分强调开源模型的安全性和具体的实打实的配套设施和举措。这似乎也直至被诟病CloseAI且被外界质疑安全性保障的OpenAI。现在，憋坏了的Google正式四面开战了。未来它将用Gemma对抗Llama，用Gemini对抗GPT。无论是开源还是闭源，竞争越来越焦灼了。相关文章:Google发布了一对开源人工智能模型Gemma2B和7B适用于较小的任务...PC版：https://www.cnbeta.com.tw/articles/soft/1419839.htm手机版：https://m.cnbeta.com.tw/view/1419839.htm

微软100亿美元押注OpenAI 人工智能新时代要来了？

微软100亿美元押注OpenAI人工智能新时代要来了？上个月，OpenAI因为推出了一款智能聊天机器人系统ChatGPT而成为了全球关注的焦点。ChatGPT是一套人工智能系统，可以回答问题，并用听起来十分自然的语言生成文本。ChatGPT很快就得到了微软的关注。微软高管认为，这项服务背后的技术很快就会对整个科技界产生更深层次的影响。微软人工智能平台主管埃里克·博伊德（EricBoyd）称：“这些人工智能模型将改变人们与计算机互动的方式。与计算机对话，就像与人对话一样自然，这将彻底改变人们使用科技的日常体验。它能以前所未有的方式理解你的意图，然后以计算机操作的方式输出。”上周有报道称，微软计划对OpenAI投资100亿美元，以获得其相当多的少数股权（约49%）。投资完成后，OpenAI的估值将达到290亿美元。对此，微软拒绝发表评论。已经在用OpenAI技术微软这项潜在的里程碑式的投资，正值区块链和数字加密货币等投资热潮已经消退，风险资本家正争先恐后地支持最新的人工智能技术。早在2019年，微软已经对OpenAI进行了第一笔10亿美元的投资。此后，微软还在自家的一些产品中使用了OpenAI的技术，包括文本生成系统GPT-3、图像生成系统Dall-E2和编程辅助系统。人工智能专家表示，这些人工智能工具，从高级研究项目转向日常产品的速度，在科技史上可能是史无前例的。例如Codex，2021年年中才在OpenAI的一篇研究论文中被提及，但不到一年，微软就将其转变为商业订阅服务。微软旗下代码托管平台GitHubCEO托马斯·多姆克（ThomasDohmke）称，使用Copilot服务（GitHub旗下AI变成工具）的开发者在创建代码时，有40%是由人工智能系统自动生成的，这将创建新代码的时间减少一半。显然，这是效率上的一个巨大飞跃。“零样本学习”成为可能OpenAI的大部分技术都源于所谓的“大型语言模型”的创建，这些模型经过了大量文本的训练。与过去十年主导人工智能的早期机器学习形式不同，这项技术创造出了可以在更广泛的环境中使用的系统，从而提高了它们的商业价值。微软人工智能平台主管博伊德称：“这些模型的真正威力在于，它们可以同时完成大量不同的任务。这使得进行所谓的“零样本学习”成为可能，即在新任务中直接使用人工智能，而不需要训练他们。谷歌和其他科技巨头，以及一些初创企业，也投入了大量资源来创建这样的大型人工智能模型。但自2020年以来（当时GPT3凭借其按需生成大块文本的能力震惊人工智能世界），OpenAI以一系列引人注目的公开演示而引领了该市场。更广泛地使用人工智能如今，微软高管正寻求在更广泛的产品中使用人工智能技术。去年年底，微软CEO萨蒂亚·纳德拉（SatyaNaDELLa）曾预计，“生成式人工智能”将引领我们走向这样一个世界：每一个人，无论其职业如何，他所做的每件事情，都能得到技术的支持。由微软联合创始人保罗·艾伦（PaulAllen）创建的人工智能研究机构A12的顾问兼董事会成员奥伦·埃齐奥尼（OrenEtzioni）表：“生成式人工智能”将成为微软Office等生产力应用程序的核心部分。将来，这些应用可以向用户展示相关信息，检查他们的工作，并提供自动生成内容服务。显然，微软的竞争对手并没有忽视人工智能技术可能给软件市场带来的巨变，他们反而将这项技术视为打入由大型科技公司主导的市场的难得机会。伦敦人工智能研究公司StabilityAI的主管埃马德·莫斯塔克（EmadMostaque）称，StabilityAI正在打造一款“PowerPoint杀手”。其产品基于人工智能技术，旨在使制作演示文稿比人们广泛使用的微软PowerPoint更容易。这对微软来说，既是防御性的，也是攻击性的。首先，微软要保护Office等老牌产品的地位，还要巩固在互联网搜索等市场地位。但与此同时，凭借这笔潜在的投资，微软还试图利用其技术和财务实力，将自己定位为“构建下一个人工智能时代的主要平台”。少数巨头掌握话语权OpenAI的一位投资者表示，OpenAI需要的云计算能力超出了初创企业或风险资本投资者的能力。这意味着OpenAI别无选择，只能从少数科技巨头寻求资金支持。但如果少数几家科技巨头，成为“打造下一代人工智能技术的初创企业”的投资者或核心平台，可能会引发监管机构的担忧。一位知情人士称，微软与OpenAI的联盟可能会受到监管机构的密切关注，但该人士同时指出，当前这笔这笔潜在的少数股权投资，不应引发任何监管干预。但是，由于主要云计算平台的所有者，需要支持即将到来的“生成式人工智能”时代，大型科技公司似乎不可避免地对该市场的未来拥有话语权。...PC版：https://www.cnbeta.com.tw/articles/soft/1339483.htm手机版：https://m.cnbeta.com.tw/view/1339483.htm