视觉、语音、文本的高效自监督学习 |导语:人工智能最近的许多突破都是由自我监督学习推动的,它使机器能够在不依赖标记数据的情况下进

视觉、语音、文本的高效自监督学习 |导语:人工智能最近的许多突破都是由自我监督学习推动的,它使机器能够在不依赖标记数据的情况下进行学习。但是当前的算法有几个明显的局限性,通常包括专门用于单一模态(例如图像或文本)并且需要大量的计算能力。这与人类学习形成鲜明对比:人们似乎比当前的 AI 学习效率更高,并且还以类似的方式从不同类型的信息中学习,而不是依赖于文本、语音和其他模式的单独学习机制。 今年早些时候,当我们发布 data2vec 时,Meta AI 解决了其中一个限制, data2vec 是第一个以相同方式学习三种不同模式(语音、视觉和文本)的高性能自监督算法。Data2vec 使得将文本理解等方面的研究进展应用于图像分割或语音翻译任务变得更加容易。 今天,我们将分享 data2vec 2.0,这是一种新算法,它的效率大大提高,并且性能优于其前身的强大性能。它实现了与最流行的现有计算机视觉自监督算法相同的精度,但速度提高了 16 倍。

相关推荐

封面图片

统计学习方法描述:本课程基于李航老师的《统计学习方法(第2版)》的监督学习和无监督学习书本教学。

统计学习方法 描述:本课程基于李航老师的《统计学习方法(第2版)》的监督学习和无监督学习书本教学。 讲解公式推导+代码实现,全套视频课,加上精心设计的作业和视频讲解搞懂算法原理。 链接:https://www.alipan.com/s/FNddPV5tacA 大小:NG 标签:#学习 #知识 #课程 #资源 来自:雷锋 版权:版权反馈/DMCA 频道:@shareAliyun 群组:@aliyundriveShare 投稿:@aliyun_share_bot

封面图片

EasyCV是一个涵盖多个领域的基于Pytorch的计算机视觉工具箱,聚焦自监督学习和视觉transformer关键技术,覆盖主

EasyCV是一个涵盖多个领域的基于Pytorch的计算机视觉工具箱,聚焦自监督学习和视觉transformer关键技术,覆盖主流的视觉建模任务例如图像分类,度量学习,目标检测,关键点检测等。 核心特性: SOTA 自监督算法 EasyCV提供了state-of-the-art的自监督算法,有基于对比学习的算法例如 SimCLR,MoCO V2,Swav, Moby,DINO,也有基于掩码图像建模的MAE算法,除此之外我们还提供了标准的benchmark工具用来进行自监督算法模型的效果评估。 视觉Transformers EasyCV聚焦视觉transformer技术,希望通过一种简洁的方式让用户方便地使用各种SOTA的、基于自监督预训练和imagenet预训练的视觉transformer模型,例如ViT,Swin-Transformer,Shuffle Transformer,未来也会加入更多相关模型。此外,我们还支持所有timm仓库中的预训练模型. 易用性和可扩展性 除了自监督学习,EasyCV还支持图像分类、目标检测,度量学习,关键点检测等领域,同时未来也会支持更多任务领域。 尽管横跨多个任务领域,EasyCV保持了统一的架构,整体框架划分为数据集、模型、回调模块,非常容易增加新的算法、功能,以及基于现有模块进行扩展。 推理方面,EasyCV提供了端到端的简单易用的推理接口,支持上述多个领域。 此外所有的模型都支持使用PAI-EAS进行在线部署,支持自动伸缩和服务监控。 高性能 EasyCV支持多机多卡训练,同时支持TorchAccelerator和fp16进行训练加速。在数据读取和预处理方面,EasyCV使用DALI进行加速。对于模型推理优化,EasyCV支持使用jit script导出模型,使用PAI-Blade进行模型优化。 | #计算机视觉 #工具

封面图片

Meta最新的开源项目DINOv2:具有自我监督学习功能的最先进的计算机视觉模型

Meta最新的开源项目DINOv2:具有自我监督学习功能的最先进的计算机视觉模型 这款全新的自监督视觉Transformer模型可以作为几乎所有计算机视觉任务的主干模型。无需微调。 • 无需大量标注数据,即可训练计算机视觉模型。 • 多功能主干:图像分类、分割、图像检索和深度估计。 • 直接从图像中学习特征,而无需依赖文本描述,这有助于更好地理解局部信息。 • 可以从任何图像集合中学习。 • DINOv2 的预训练版本已经上线,并在众多任务中与 CLIP 和 OpenCLIP 竞争。 Meta继SAM(Segment Anything) 网页链接 之后又一计算机视觉领域的重量级开源项目。 |||

封面图片

:一种新的生成式交互环境模型,能通过无监督学习,用未标注的互联网视频数据训练而成。

:一种新的生成式交互环境模型,能通过无监督学习,用未标注的互联网视频数据训练而成。 Genie具有11B参数,能将文本、合成图像、照片甚至手绘草图转换为可交互的虚拟世界。这一模型打破了传统世界模型需要特定领域数据和动作标签的局限,通过学习潜动作空间,实现了对生成环境的逐帧控制。 研究表明,Genie不仅能够创造多样的互动体验,还能够训练未来的通用智能体,通过对未见过的视频进行模仿学习,预示着人工智能领域迈向开放式学习和创造无限数据的新时代。

封面图片

SSLRec是一个基于 PyTorch 的深度学习框架,用于通过自我监督学习技术增强的推荐系统。包含常用的数据集、用于数据处理、

SSLRec是一个基于 PyTorch 的深度学习框架,用于通过自我监督学习技术增强的推荐系统。包含常用的数据集、用于数据处理、训练、测试、评估和最先进的研究模型的代码脚本。 SSLRec提供了大量实用函数和易于使用的界面,简化了推荐模型的开发和评估。 突出特点 灵活的模块化架构。SSLRec 库采用模块化架构,可以轻松定制和组合模块。这使用户能够创建适合其特定需求和要求的个性化推荐模型。 多样化的推荐场景。SSLRec 库是一个多功能工具,适合有兴趣在不同推荐系统研究领域构建有效推荐模型的研究人员和从业者。 综合最先进的模型。我们的 SSLRec 框架为各种场景提供了广泛的 SSL 增强推荐模型。研究人员可以使用先进技术评估这些模型,并将其作为推动推荐系统领域创新的基础。 统一数据馈送和标准评估协议。SSLRec框架具有统一的数据馈送器和标准评估协议,可以轻松加载和预处理来自各种来源和格式的数据,同时确保对推荐模型的客观和公平评估。 丰富的实用功能。SSLRec 库提供了大量实用函数,可以简化推荐模型的开发和评估。这些功能结合了推荐系统的常见功能以及图操作、网络架构和损失函数的自监督学习。 易于使用的界面。我们提供了一个用户友好的界面,可以简化推荐模型的训练和评估。这使得研究人员和从业者能够轻松高效地试验各种模型和配置。 | #框架

封面图片

对比学习在NLP中的应用,很不错的资源汇总

对比学习在NLP中的应用,很不错的资源汇总 目前的NLP模型在很大程度上依赖于有效的表示学习算法。对比学习就是这样一种技术,它可以学习一个嵌入空间,使相似的数据样本对具有接近的表征,而不相似的样本则彼此相距甚远。它可以在有监督或无监督的情况下使用不同的损失函数来产生特定任务或通用的表征。虽然它最初使视觉任务获得了成功,但近年来,对比性NLP的出版物越来越多。这第一线的工作不仅在各种NLP任务中提供了有希望的性能改进,而且还提供了理想的特征,如任务无关的句子表示、忠实的文本生成、在0-shot和少量设置中的数据高效学习、可解释性和可解释性。 | #NLP

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人