中国研究团队发布多视角数据集“FreeMan” 解决3D人体姿势估计局限性
中国研究团队发布多视角数据集“FreeMan”解决3D人体姿势估计局限性在这方面,类似于Human3.6M和HuMMan的现有数据集广泛用于3D人体姿态估计,但它们是在受控的实验室环境中收集的,无法充分捕捉真实世界环境的复杂性。这些数据集在场景多样性、人体动作和可扩展性方面存在局限。研究人员提出了各种模型用于3D人体姿态估计,但由于现有数据集的局限性,它们的效果通常在应用于真实场景时受到阻碍。中国的一支研究团队推出了“FreeMan”,这个由来自香港中文大学(深圳)和腾讯等机构的团队共同合作开发的项目,被誉为革新性的多视角数据集,旨在为3D人体姿势估计领域带来新的突破。FreeMan是一个新颖的大规模多视角数据集,旨在解决现有数据集在真实场景中3D人体姿态估计方面的局限性。FreeMan是一项重要的贡献,旨在促进更准确和稳健模型的开发。FreeMan项目的特点之一是其数据集的规模和多样性。该数据集由8部智能手机在不同场景下的同步录制组成,包括10个不同场景、27个真实场地,总计包含了超过1100万帧的视频。每个场景都涵盖了不同的照明条件,使得这个数据集成为一个独一无二的资源。FreeMan数据集的开源是为了促进大规模预训练数据集的发展,同时也为户外3D人体姿势估计提供了全新的基准。这一数据集不仅包括视频,还提供了丰富的注解信息,包括2D和3D人体关键点、SMPL参数、边界框等,为研究人员提供了丰富的资源以推动相关领域的研究。值得注意的是,FreeMan引入了相机参数和人体尺度的变化,使其更具代表性。研究团队开发了自动化的标注流程,以从收集的数据中高效生成精确的3D标注。这一流程包括人体检测、2D关键点检测、3D姿态估计和网格标注。由此产生的数据集对于多种任务都非常有价值,包括单目3D估计、2D到3D转换、多视角3D估计和人体主体的神经渲染。研究人员提供了对FreeMan进行各种任务的全面评估基线。他们将在FreeMan上训练的模型与在Human3.6M和HuMMan上训练的模型的性能进行了比较。值得注意的是,在3DPW数据集上测试时,训练在FreeMan上的模型表现出显著更好的性能,突显了FreeMan在真实场景中的卓越泛化能力。在多视角3D人体姿态估计实验中,与在Human3.6M上训练的模型相比,在跨领域数据集上测试时,训练在FreeMan上的模型表现出更好的泛化能力。结果一致显示了FreeMan多样性和规模的优势。在2D到3D姿态转换实验中,FreeMan的挑战显而易见,因为在这个数据集上训练的模型面临更大的难度。然而,当模型在整个FreeMan训练集上进行训练时,其性能得到改善,显示出该数据集提高模型性能的潜力。FreeMan的可用性预计将推动人体建模、计算机视觉和人机交互领域的进步,弥合了受控实验室条件与真实场景之间的差距。...PC版:https://www.cnbeta.com.tw/articles/soft/1386255.htm手机版:https://m.cnbeta.com.tw/view/1386255.htm
在Telegram中查看相关推荐
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人