LLaV：一个拥有类似 GPT-4 的大语言+视觉模型

LLaV：一个拥有类似 GPT-4 的大语言+视觉模型 “使用机器生成的指令跟踪数据对大型语言模型 (LLM) 进行指令调优提高了新任务的零样本能力，但这一想法在多模式领域的探索较少。 所以，我们开始尝试使用纯语言 GPT-4 生成多模态语言图像指令跟踪数据。通过对此类生成的数据进行指令调整，并推出了 LLaVA：大型语言和视觉助手。 这是一种端到端训练的大型多模态模型，连接视觉编码器和 LLM 以实现通用视觉和语言理解。 早期实验表明，LLaVA 展示了令人印象深刻的多模型聊天能力，有时在看不见的图像 / 指令上表现出多模态 GPT-4 的行为，并且与合成多模态指令跟随数据集上的 GPT-4 相比，相对分数达到了 85.1%。 当在 Science QA 上进行微调时，LLaVA 和 GPT-4 的协同作用达到了 92.53%，这个准确率颇高。 因此，我们在 GitHub 正式开放 GPT-4 生成的视觉指令调整数据、模型和代码库。” |||||

机器学习方案手册，一本包含逐步说明为各种任务训练深度学习模型的书。内容覆盖自然语言处理、计算机视觉、图像与文字

机器学习方案手册，一本包含逐步说明为各种任务训练深度学习模型的书。内容覆盖自然语言处理、计算机视觉、图像与文字 本书分为3个部分： 自然语言处理（NLP） 计算机视觉（CV） 图片和文字 以下是本节各章的简要概述： 命名实体识别- 讨论使用conllpp 数据集识别命名实体的训练转换器模型。我们将使用的特定模型称为bert-base-cased。该模型是原始 BERT 的较小版本，并且区分大小写，这意味着它将大写和小写字母视为不同。 掩蔽语言建模- 与填空问题类似，我们训练一个模型来使用xsum 数据集预测句子中的掩蔽词。我们将使用的特定模型称为distilbert-base-uncased。这是 bert base uncased 模型的精炼版本，它以相同的方式处理大写和小写字母。 机器翻译在本章中，训练一个模型将文本从英语翻译成西班牙语。我们将在新闻评论数据集上训练来自赫尔辛基 NLP 小组的变压器模型。 总结在本章中，训练了一个多语言模型来总结英语和西班牙语句子。使用的模型是 T5 Transformer 模型的多语言版本，使用的数据集是amazon reviews dataset。 因果语言建模- 本章重点介绍训练模型以自动完成 Python 代码。为此，我们将使用用于训练代码鹦鹉模型的数据。 计算机视觉部分涵盖了该领域下最常见的任务。本节中的章节使用pytorch 闪电、pytorch 图像模型（timm）、 albumentations库和权重和偏差平台。以下是本节各章的简要概述： 图像分类- 我们将训练卷积神经网络 (CNN) 模型对动物图像进行分类。我们将使用的 CNN 模型是“resnet34”，使用的数据集是动物图像数据集。 图像分割- 本章侧重于训练模型以分割给定图像中的道路。我们将使用 U-net 模型来完成此任务。 物体检测在本章中，我们将专注于检测图像中的汽车。我们将预测与图像中包围汽车的边界框相对应的坐标。对于这个任务，我们将使用 fast-rcnn 模型。 最后一节包含训练模型以在给定图像的情况下生成标题的章节。它将有一个视觉转换器作为编码器，gpt-2 模型作为解码器。 || #电子书 #机器学习 #手册

Stability AI正式发布了DeepFloyd IF图像生成模型，这是一个有文本编码器和三个级联的diffusion模块组

Stability AI正式发布了DeepFloyd IF图像生成模型，这是一个有文本编码器和三个级联的diffusion模块组合的模型。 这个模型的效率要比原有的satble diffusion效率要高很多。 我尝试了一下，看起来效果也比SD2.0强一些。 划重点，这个模型是认字的生成出来的英文非常工整。 文章链接： 可以在这里体验模型： Github： 模型网站：

| #指南 - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。

| #指南 - Transformer是训练语言模型最常用的架构。预训练再微调是训练语言模型的主要方法。 - 微调需要收集任务特定的数据集，一般大小在几十MB到几GB。 - 数据预处理非常重要，需要将数据清理成合适的格式，如JSONL。 - 主要的训练超参数包括batch size、epoch数、学习率、梯度累积步数等。 - LoRA是一种减少GPU内存占用的微调方法，QLoRA则通过量化进一步降低了内存需求。 - 学习曲线可以诊断模型的训练情况，判断是否欠拟合、过拟合或拟合良好。 - 模型量化可以降低模型大小，使大模型也能在低显存环境下使用。 - 模型适配器方法可以进行个性化微调而不加载整个模型。 - 模型融合可以组合多个模型的优势得到更优的单模型。 - 合理配置训练超参数以及诊断学习曲线对获得期望的模型至关重要。

这是构成Sora基础之一的Diffusion Transformer论文作者关于Sora的一些猜测和技术解释。

这是构成Sora基础之一的Diffusion Transformer论文作者关于Sora的一些猜测和技术解释。 这个老哥可能是除了这篇论文的另一个作者（现在在Open AI工作）之外最懂Diffusion Transformer的人了，非常值得关注。 有趣的是这篇论文曾经在2023年的计算机视觉会议(CVR2023)上因“缺少创新性”而遭到拒绝，短短一年时间就变成了Sora这怪物模型的理论基础。 -正文开始- 以下是我对Sora技术报告的解读，其中包含了一些可能并不准确的猜测。首先，我非常感谢团队分享了极为有价值的见解和设计决策Sora确实令人惊叹，它将彻底改变视频生成领域。 我们目前所了解到的情况如下： 架构：Sora基于我们的扩散变换器（Diffusion Transformer，简称DiT）模型构建，该模型已发表在2023年国际计算机视觉会议（ICCV 2023）上。简单来说，它是一个结合了变换器（Transformer）主干的扩散模型： DiT = [变分自编码器（VAE）编码器 + 视觉变换器（ViT）+ 去噪扩散概率模型（DDPM）+ VAE解码器]。 根据报告，这个模型似乎没有太多额外的复杂设计。 “视频压缩网络”：这看起来就像是一个在原始视频数据上训练的变分自编码器（VAE）。在实现良好的时间一致性方面，标记化（Tokenization）可能扮演着关键角色。顺便提一下，VAE本质上是一个卷积网络，所以从技术上说，DiT实际上是一个混合模型。 ;) 当Bill和我参与DiT项目时，我们并未专注于创新（详见我之前的推特），而是将重点放在了两个方面：简洁性和可扩展性。这些优先事项带来的不仅仅是概念上的优势。 简洁性代表着灵活性。关于标准的视觉变换器（ViT），人们常忽视的一个亮点是，它让模型在处理输入数据时变得更加灵活。例如，在遮蔽自编码器（MAE）中，ViT帮助我们只处理可见的区块，忽略被遮蔽的部分。同样，Sora可以通过在适当大小的网格中排列随机初始化的区块来控制生成视频的尺寸。而UNet并不直接提供这种灵活性。 猜测：Sora可能还使用了Google的Patch n’ Pack（NaViT）技术，使DiT能够适应不同的分辨率、持续时间和长宽比。

北京大学Yuangroup团队发起了一个 Open-Sora计划，旨在复现OpenAI 的Sora模型。

北京大学Yuangroup团队发起了一个 Open-Sora计划，旨在复现OpenAI 的Sora模型。 通过视频VQ-VAE、Denoising Diffusion Transformer和条件编码器等技术组件，来实现Sora模型的功能。 它由以下组成部分组成。 1. Video VQ-VAE. 2. Denoising Diffusion Transformer. 3. Condition Encoder.