Meta最新的开源项目DINOv2：具有自我监督学习功能的最先进的计算机视觉模型

Meta最新的开源项目DINOv2：具有自我监督学习功能的最先进的计算机视觉模型 这款全新的自监督视觉Transformer模型可以作为几乎所有计算机视觉任务的主干模型。无需微调。 • 无需大量标注数据，即可训练计算机视觉模型。 • 多功能主干：图像分类、分割、图像检索和深度估计。 • 直接从图像中学习特征，而无需依赖文本描述，这有助于更好地理解局部信息。 • 可以从任何图像集合中学习。 • DINOv2 的预训练版本已经上线，并在众多任务中与 CLIP 和 OpenCLIP 竞争。 Meta继SAM（Segment Anything） 网页链接 之后又一计算机视觉领域的重量级开源项目。 |||

Meta 开源计算机视觉基础模型 DINOv2

Meta 开源计算机视觉基础模型 DINOv2 Meta 开源了它的计算机视觉基础模型 DINOv2，源代码托管在上，和 Meta 近期开源的其它 AI 模型一样，采用的是非商用的 CC-BY-NC 4.0 许可证。DINOv2 是基于 Vision Transformer (ViT)架构，使用一个包含 1.42 亿幅图像的精选数据集进行预训练，可用于图像分类、视频动作识别、语义分割和深度估计等任务。Meta 称 DINOv2 模型的速度是旧方法的两倍，使用的内存只有旧方法的三分之一。测试显示它相比其它同类模型有显著改进。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

LightNet 是一个基于流行的暗网平台的深度学习框架，旨在为计算机视觉任务创建高效、高速的卷积神经网络（CNN）。该框架经过

LightNet 是一个基于流行的暗网平台的深度学习框架，旨在为计算机视觉任务创建高效、高速的卷积神经网络（CNN）。该框架经过改进和优化，可为各种深度学习挑战提供更通用、更强大的解决方案。 LightNet 融合了多项前沿技术和优化来提高 CNN 模型的性能。主要特点包括： ●多任务学习 除了暗网中的对象检测之外，LightNet 还经过扩展以支持语义分割学习，从而可以对图像内的对象进行更准确、更详细的分割。此功能支持训练 CNN 模型来识别和分类图像中的各个像素，从而实现更精确的对象检测和场景理解。 例如，语义分割可用于识别图像中的各个对象，例如汽车或行人，并用相应的对象类别标记图像中的每个像素。这对于各种应用都很有用，包括自动驾驶和医学图像分析。 ●2:4 结构化稀疏性 2:4 结构化稀疏技术是一种减少 CNN 模型参数数量同时保持其性能的新颖方法。这种方法使模型更加高效并且需要更少的计算，从而缩短训练和推理时间。 例如，使用 2:4 结构化稀疏性可以减少 CNN 模型的内存占用和计算要求，从而更容易部署在手机或嵌入式系统等资源受限的设备上。 ●通道修剪 通道剪枝是一种优化技术，可以减少 CNN 模型中的通道数量，而不会显着影响其准确性。此方法有助于减小模型大小和计算要求，从而在保持性能的同时缩短训练和推理时间。 例如，通道修剪可用于减少 CNN 模型中的通道数量，以便在低功耗处理器上进行实时处理，同时仍保持高精度。这对于在计算资源有限的设备上部署模型非常有用。 ●训练后量化（维护中） 训练后量化 (PTQ) 是一种减少训练后 CNN 模型的内存占用和计算要求的技术。此功能目前正在维护中，将在未来版本中提供。 ●量化感知训练（未来支持） 虽然 PTQ 被认为足以满足 NVIDIA GPU 上的 LightNet，但对于不支持每通道量化的 AI 处理器，我们可能会考虑根据需要添加对量化感知训练 (QAT) 的支持。 | #框架

计算机视觉最佳实践、代码示例和相关文档

计算机视觉最佳实践、代码示例和相关文档 该存储库提供了用于构建计算机视觉系统的示例和最佳实践指南。该存储库的目标是构建一套全面的工具和示例，以利用计算机视觉算法、神经架构和操作此类系统的最新进展。我们不是从头开始创建实现，而是从现有的最先进的库中汲取灵感，并围绕加载图像数据、优化和评估模型以及扩展到云端构建额外的实用程序。 这些示例和实用程序希望通过将从定义业务问题到开发解决方案的经验简化几个数量级，从而显着缩短“上市时间”。此外，示例笔记本将用作指南，并以多种语言展示工具的最佳实践和使用情况。 示例以和的形式提供。所有示例都使用 PyTorch 作为底层深度学习库。 | #计算机视觉

机器学习方案手册，一本包含逐步说明为各种任务训练深度学习模型的书。内容覆盖自然语言处理、计算机视觉、图像与文字

机器学习方案手册，一本包含逐步说明为各种任务训练深度学习模型的书。内容覆盖自然语言处理、计算机视觉、图像与文字 本书分为3个部分： 自然语言处理（NLP） 计算机视觉（CV） 图片和文字 以下是本节各章的简要概述： 命名实体识别- 讨论使用conllpp 数据集识别命名实体的训练转换器模型。我们将使用的特定模型称为bert-base-cased。该模型是原始 BERT 的较小版本，并且区分大小写，这意味着它将大写和小写字母视为不同。 掩蔽语言建模- 与填空问题类似，我们训练一个模型来使用xsum 数据集预测句子中的掩蔽词。我们将使用的特定模型称为distilbert-base-uncased。这是 bert base uncased 模型的精炼版本，它以相同的方式处理大写和小写字母。 机器翻译在本章中，训练一个模型将文本从英语翻译成西班牙语。我们将在新闻评论数据集上训练来自赫尔辛基 NLP 小组的变压器模型。 总结在本章中，训练了一个多语言模型来总结英语和西班牙语句子。使用的模型是 T5 Transformer 模型的多语言版本，使用的数据集是amazon reviews dataset。 因果语言建模- 本章重点介绍训练模型以自动完成 Python 代码。为此，我们将使用用于训练代码鹦鹉模型的数据。 计算机视觉部分涵盖了该领域下最常见的任务。本节中的章节使用pytorch 闪电、pytorch 图像模型（timm）、 albumentations库和权重和偏差平台。以下是本节各章的简要概述： 图像分类- 我们将训练卷积神经网络 (CNN) 模型对动物图像进行分类。我们将使用的 CNN 模型是“resnet34”，使用的数据集是动物图像数据集。 图像分割- 本章侧重于训练模型以分割给定图像中的道路。我们将使用 U-net 模型来完成此任务。 物体检测在本章中，我们将专注于检测图像中的汽车。我们将预测与图像中包围汽车的边界框相对应的坐标。对于这个任务，我们将使用 fast-rcnn 模型。 最后一节包含训练模型以在给定图像的情况下生成标题的章节。它将有一个视觉转换器作为编码器，gpt-2 模型作为解码器。 || #电子书 #机器学习 #手册

MMYOLO 是一个基于 PyTorch 和 MMDetection 的 YOLO 系列算法开源工具箱。主分支代码目前支持 Py

MMYOLO 是一个基于 PyTorch 和 MMDetection 的 YOLO 系列算法开源工具箱。主分支代码目前支持 PyTorch 1.6 以上的版本。在B站有解读视频。 MMYOLO 统一了各类 YOLO 算法模块的实现, 并提供了统一的评测流程，用户可以公平便捷地进行对比分析。 MMYOLO 提供了从入门到部署到进阶和算法解析等一系列文档，方便不同用户快速上手和扩展。 MMYOLO 将框架解耦成不同的模块组件，通过组合不同的模块和训练测试策略，用户可以便捷地构建自定义模型。 ||