谷歌发布史上最大的视觉语言模型 PaLM-E

谷歌发布史上最大的视觉语言模型PaLM-E谷歌PaLM-E有着5620亿参数(ChatGPT为1750亿参数)，结合了PaLM-540B语言模型与ViT-22B视觉模型。将现实世界的连续传感器模态直接纳入语言模型，"为AI移植眼睛"从而建立单词和感知之间的联系。PaLM-E直接从机器人摄像头获取原始图像数据，并根据自然语言指令进行动作规划和执行，这样就避免了人工预处理或标注数据的需要，可以端到端自主学习这些任务。研究团队同时发现：1.语言模型越大，在视觉语言和机器人任务训练时就越能保持其语言能力，PaLM-E的5620亿的参数量刚好让它保留住了几乎所有语言能力。2."通才AI"的正迁移能力，同时在多个任务领域训练的PaLM-E，单任务能力相比"专精AI"显着提高。3.除了人机交互方面有着重大进展，团队还发现了PaLM-E有着诸如多模态思维链推理和多图像推理等新兴能力，在OK-VQA视觉问答基准测试上达成了新的SOTA(最佳水平AI)。投稿：@ZaiHuabot频道：@TestFlightCN

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型

LLaV：一个拥有类似GPT-4的大语言+视觉模型“使用机器生成的指令跟踪数据对大型语言模型(LLM)进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。所以，我们开始尝试使用纯语言GPT-4生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了LLaVA：大型语言和视觉助手。这是一种端到端训练的大型多模态模型，连接视觉编码器和LLM以实现通用视觉和语言理解。早期实验表明，LLaVA展示了令人印象深刻的多模型聊天能力，有时在看不见的图像/指令上表现出多模态GPT-4的行为，并且与合成多模态指令跟随数据集上的GPT-4相比，相对分数达到了85.1%。当在ScienceQA上进行微调时，LLaVA和GPT-4的协同作用达到了92.53%，这个准确率颇高。因此，我们在GitHub正式开放GPT-4生成的视觉指令调整数据、模型和代码库。”

Google DeepMind 发布视觉语言动作模型 RT-2

GoogleDeepMind发布视觉语言动作模型RT-2GoogleDeepMind今日发布了一种新的AI模型RoboticsTransformer2（RT-2），可以帮助训练机器人理解扔垃圾等任务。在论文中，谷歌介绍RT-2是一种新型视觉语言动作（VLA）模型，从网络和机器人数据中学习，并将这些知识转化为机器人控制的通用指令，同时保留网络规模能力。例如，可以帮助训练机器人理解扔垃圾等任务。RT-2表明，视觉语言模型（VLM）可以转换为强大的视觉语言动作（VLA）模型，该模型可以通过将VLM预训练与机器人数据相结合来直接控制机器人。RT-2不仅是对现有VLM模型的简单而有效的修改，而且还显示了构建通用物理机器人的前景，该机器人可以推理、解决问题和解释信息，以在现实世界中执行各种任务。论文：https://robotics-transformer2.github.io/assets/rt2.pdf来源：https://www.deepmind.com/blog/rt-2-new-model-translates-vision-and-language-into-action投稿：@ZaiHuaBot频道：@TestFlightCN

科大讯飞推出大模型 董事长称语言理解等方面还落后ChatGPT

科大讯飞推出大模型董事长称语言理解等方面还落后ChatGPT中国语音智能公司科大讯飞董事长刘庆峰说，公司推出的大模型产品“星火认知大模型”在中文长文本生成、医疗领域的知识问答、数理能力等方面已经超过了ChatGPT，而在语言理解等方面还落后ChatGPT。据财新网报道，刘庆峰星期六（5月6日）在合肥举行的“星火认知大模型”成果发布会上说，“大模型都还在快速迭代过程中，即便是GPT-4很多问题仍然回答的不好，所以只是找单点例子来证明哪个系统强是没有意义的”。他并说，科大讯飞牵头设计的大模型评测体系覆盖了七大类和481个细分任务类型，七大类即长文本生成、语言理解、知识问答、逻辑推理、数学能力、代码生成、多模态输入和表达能力。科大讯飞研究院院长刘聪在发布会现场演示了“星火认知大模型”在这七大方面的能力。报道称，在演示中，该模型可以写文案、编故事，可以根据场景含义理解成语意思并给出针对性分析，并根据上下文逻辑推理；也可以解决基础的数学问题、生成简单代码；该模型还具备图片、语音等多模态的输入、输出能力。刘庆峰称，“星火认知大模型”在中文长文本生成、医疗领域的知识问答、数理能力等方面已经超过了ChatGPT，而在语言理解等方面还落后ChatGPT。他同时公布，将于6月9日升级该模型在开放式问答、多轮对话、数学能力，并于8月15日升级代码能力、多模态交互能力。刘庆峰说，“星火认知大模型”10月24日将在中文通用大模型上超过ChatGPT现有水平，英文和ChatGPT现有水平持平。另据报道，在此次发布会上，科大讯飞还公布了大模型能力带来的对于教育、办公等领域现有产品的功能升级。在教育领域，科大讯飞学习机借助该模型实现了批改作文、中英文口语对话的能力。在现场展示中，学习机产品可以通过拍照自动批改小学水平的中文作文及高考英语作文，可以实现指出错别字、语句修订、评分等功能。刘庆峰说：“我们也将把星火大模型的能力开放给开发者，我们会根据国家有关管理部门的要求严格的把控，而本次发布的各个领域的落地都是马上能用的，也是国家部委特别支持的。”

微软开源 Visual ChatGPT

OpenAI的ChatGPT（GPT3版本）是基于大语言模型，专门训练以文本形式的对话与用户互动。它不是基于多模态模型，不支持图像或语音的输入输出。如果我们想要构建一个类似ChatGPT的支持图像理解和生成的系统，那么可能需要使用一个多模态会话模型进行训练。但此类的训练需要消耗大量的数据和算力资源。与此从头开始构建一个全新的系统，不如站在巨人的肩膀上。微软亚洲研究院的研究人员在预印本网站arxiv上发表论文《VisualChatGPT:Talking,DrawingandEditingwithVisualFoundationModels》，提出在ChatGPT 和多个VisualFoundationModels基础上构建VisualChatGPT。源代码托管在GitHub上。投稿：@ZaiHuabot频道：@TestFlightCN

微软推出了一个小型语言模型，能够分析图片内容

微软宣布推出了新版小型语言模型Phi-3，这款模型能够查看图片并告诉你图片中有什么。Phi-3-vision是一种多模态模型，也就是说它能同时处理文本和图像，而且最适合在移动设备上使用。微软表示，现已提供预览的Phi-3-vision是一个拥有42亿参数的模型（参数指的是模型的复杂程度以及它对训练内容的理解程度），能够执行一般的视觉推理任务，比如对图表或图片提出问题。但是，Phi-3-vision的规模远小于其他以图像为中心的人工智能模型，比如OpenAI的DALL-E或StabilityAI的StableDiffusion。与这些模型不同，Phi-3-vision并不生成图像，但它能理解图像中的内容，并为用户分析这些内容。标签:#微软#AI频道:@GodlyNews1投稿:@GodlyNewsBot