：可以理解图像和音频的内容，并将这些理解与文本输入和输出相结合。

：可以理解图像和音频的内容，并将这些理解与文本输入和输出相结合。 BuboGPT是由字节跳动开发的大型语言模型，能够处理多模态输入，包括文本、图像和音频，并具有将其响应与视觉对象相对应的独特能力。 它可以进行细粒度的视觉理解，音频理解，以及对齐的音频-图像理解和任意音频-图像理解。 BuboGPT的架构是通过学习一个共享的语义空间并进一步探索不同视觉对象和不同模态之间的细粒度关系，从而实现了包括图像、音频和文本在内的多模态理解。 它的训练过程包括两个阶段：单模态预训练和多模态指令调整。 在单模态预训练阶段，对应的模态Q-Former和线性投影层在大量的模态-文本配对数据上进行训练。 在多模态指令调整阶段，使用高质量的多模态指令跟踪数据集对线性投影层进行微调。 当你给它一个图像和一段描述图像的文本时，BuboGPT能够理解文本和图像之间的关系，并生成一个与图像内容相对应的响应。这种能力使得BuboGPT可以在对话中提供更丰富、更具上下文的回答。 音频理解能力：当你给它一个音频剪辑时，它可以生成一个详细的描述，涵盖音频中的所有声音部分，甚至包括一些人类可能无法注意到的短暂音频片段。 BuboGPT还可以处理匹配的音频-图像对，进行声音定位。例如，如果你给它一个场景的图片和场景中发生的声音，它可以理解声音和图像之间的关系，并生成一个描述声音来源位置的响应。 即使音频和图像之间没有直接的关系。在这种情况下，BuboGPT可以生成一个高质量的响应，描述音频和图像之间的可能关系。

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型 “使用机器生成的指令跟踪数据对大型语言模型 (LLM) 进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。 所以，我们开始尝试使用纯语言 GPT-4 生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了 LLaVA：大型语言和视觉助手。 这是一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。 早期实验表明，LLaVA 展示了令人印象深刻的多模型聊天能力，有时在看不见的图像 / 指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，相对分数达到了 85.1%。 当在 Science QA 上进行微调时，LLaVA 和 GPT-4 的协同作用达到了 92.53%，这个准确率颇高。 因此，我们在 GitHub 正式开放 GPT-4 生成的视觉指令调整数据、模型和代码库。” |||||

CVAT 是一种用于计算机视觉的交互式视频和图像注释的开源工具。它被全球数以万计的用户和公司使用。

CVAT 是一种用于计算机视觉的交互式视频和图像注释的开源工具。它被全球数以万计的用户和公司使用。 CVAT 核心团队将该工具的积极开发转移到这个新存储库。目的是帮助世界各地的开发人员、公司和组织使用以数据为中心的 AI 方法解决实际问题。 ||| #计算机视觉 #工具

用于评估大型语言模型(LLM) Agent在多步多模态任务中的工具使能力的基准数据集，包含超过 4000 个多步多模态任务，这些

用于评估大型语言模型(LLM) Agent在多步多模态任务中的工具使能力的基准数据集，包含超过 4000 个多步多模态任务，这些任务涉及 33 种工具，包括 13 种多模态模型、9 个公共 API 和 11 个图像处理模块 | #数据集

机器学习方案手册，一本包含逐步说明为各种任务训练深度学习模型的书。内容覆盖自然语言处理、计算机视觉、图像与文字

机器学习方案手册，一本包含逐步说明为各种任务训练深度学习模型的书。内容覆盖自然语言处理、计算机视觉、图像与文字 本书分为3个部分： 自然语言处理（NLP） 计算机视觉（CV） 图片和文字 以下是本节各章的简要概述： 命名实体识别- 讨论使用conllpp 数据集识别命名实体的训练转换器模型。我们将使用的特定模型称为bert-base-cased。该模型是原始 BERT 的较小版本，并且区分大小写，这意味着它将大写和小写字母视为不同。 掩蔽语言建模- 与填空问题类似，我们训练一个模型来使用xsum 数据集预测句子中的掩蔽词。我们将使用的特定模型称为distilbert-base-uncased。这是 bert base uncased 模型的精炼版本，它以相同的方式处理大写和小写字母。 机器翻译在本章中，训练一个模型将文本从英语翻译成西班牙语。我们将在新闻评论数据集上训练来自赫尔辛基 NLP 小组的变压器模型。 总结在本章中，训练了一个多语言模型来总结英语和西班牙语句子。使用的模型是 T5 Transformer 模型的多语言版本，使用的数据集是amazon reviews dataset。 因果语言建模- 本章重点介绍训练模型以自动完成 Python 代码。为此，我们将使用用于训练代码鹦鹉模型的数据。 计算机视觉部分涵盖了该领域下最常见的任务。本节中的章节使用pytorch 闪电、pytorch 图像模型（timm）、 albumentations库和权重和偏差平台。以下是本节各章的简要概述： 图像分类- 我们将训练卷积神经网络 (CNN) 模型对动物图像进行分类。我们将使用的 CNN 模型是“resnet34”，使用的数据集是动物图像数据集。 图像分割- 本章侧重于训练模型以分割给定图像中的道路。我们将使用 U-net 模型来完成此任务。 物体检测在本章中，我们将专注于检测图像中的汽车。我们将预测与图像中包围汽车的边界框相对应的坐标。对于这个任务，我们将使用 fast-rcnn 模型。 最后一节包含训练模型以在给定图像的情况下生成标题的章节。它将有一个视觉转换器作为编码器，gpt-2 模型作为解码器。 || #电子书 #机器学习 #手册

谷歌发布史上最大的视觉语言模型 PaLM-E

谷歌发布史上最大的视觉语言模型 PaLM-E 谷歌 PaLM-E 有着5620亿参数 (ChatGPT 为1750亿参数) ，结合了 PaLM-540B 语言模型与 ViT-22B 视觉模型。将现实世界的连续传感器模态直接纳入语言模型，"为AI移植眼睛"从而建立单词和感知之间的联系。 PaLM-E 直接从机器人摄像头获取原始图像数据，并根据自然语言指令进行动作规划和执行，这样就避免了人工预处理或标注数据的需要，可以端到端自主学习这些任务。 研究团队同时发现： 1. 语言模型越大，在视觉语言和机器人任务训练时就越能保持其语言能力，PaLM-E 的5620亿的参数量刚好让它保留住了几乎所有语言能力。 2. "通才AI"的正迁移能力，同时在多个任务领域训练的 PaLM-E，单任务能力相比"专精AI"显着提高。 3. 除了人机交互方面有着重大进展，团队还发现了 PaLM-E 有着诸如多模态思维链推理和多图像推理等新兴能力，在 OK-VQA 视觉问答基准测试上达成了新的 SOTA (最佳水平AI)。