一个可以用来打造个人数字形象的深度学习模型工具,仅需要提供最低三张照片即可获得独属于自己的个人形象数字替身

一个可以用来打造个人数字形象的深度学习模型工具,仅需要提供最低三张照片即可获得独属于自己的个人形象数字替身FaceChain由阿里达摩院开发。使用了多个模型,包括面部检测模型、图像旋转模型、人体解析模型、肤色修饰模型等。算法介绍:训练阶段:输入用户上传的清晰面部区域图像,输出FaceLoRA模型。通过一系列的图像处理和模型微调,获取高质量的面部训练图像,并获得面部LoRA模型。推断阶段:基于面部LoRA模型和样式LoRA模型生成个人肖像图像,然后进一步改善肖像图像的面部细节。你可以通过FaceChain的Python脚本或熟悉的Gradio界面训练你的数字孪生模型并生成照片,也可以直接通过ModelScopeStudio体验FaceChain。#工具

相关推荐

封面图片

一个懒人 LoRA 制作指南,手把手教你用 OneTrainer 训练自己的 AI 绘画模型,无需深入理论,轻松掌握关键步骤。

一个懒人LoRA制作指南,手把手教你用OneTrainer训练自己的AI绘画模型,无需深入理论,轻松掌握关键步骤。作者是用XL生成的图片,你可以用MIdjoureny生成效果比较好。我完整翻译了内容,并且重新整理了适合推特阅读的版本,或者你可以在下面看完整翻译的内容:-----------------------------1⃣LoRA模型制作教程作者作为一名LoRA模型制作的新手,通过自己的学习实践,总结了一份简明扼要的制作教程。这份教程不涉及太多理论知识,而是直奔主题,手把手教初学者如何训练自己的LoRA模型。作者坦诚分享了自己从最初尝试Embedding和LoRA时遇到的问题,以及后来找到的解决方法,为读者提供了宝贵的经验参考。所需工具介绍要制作LoRA模型,需要准备一些必要的工具。作者推荐使用自己喜欢的模型和图像生成工具,他个人使用的是StableSwarmUI和GhostXL模型。此外,还需要一个训练工具,作者选择了OneTrainer,因为有人说它比另一个常用的工具Kohya更易用。作者还提到,训练时如果需要将SDXL格式的图像转换为SD格式,需要在设置中开启分辨率覆盖选项。2⃣LoRA模型制作步骤作者将LoRA模型的制作过程分为三个主要步骤:第一步是用现有的模型生成大量高质量的图像作为训练数据;第二步是人工检查挑选图像,剔除所有质量不合格的;第三步是使用OneTrainer进行训练,调整必要的参数设置。作者还特别提到,在训练时如果需要将SDXL格式的图像转换为SD格式,一定要记得开启分辨率覆盖选项,否则训练会出问题。训练参数调整心得作为一名新手,作者在调整训练参数时主要参考了一份网上的指南。他尝试调整了Lora设置中的rank参数,将其从默认的16改为32,解决了模型训练中遇到的问题。作者分享了这份参数调整指南的链接,供其他学习者参考。3⃣作者的训练数据集分享为了帮助更多学习者,作者慷慨地分享了自己完整的训练图像数据集,其中还包含了他使用的OneTrainer配置文件。这些数据可供其他LoRA制作人下载参考和使用。数据集已经过作者的筛选,图像质量有保证。4⃣训练成果展示

封面图片

微软的 VASA-1 模型根据一张照片和一条音轨生成该人的说话视频

微软的VASA-1模型根据一张照片和一条音轨生成该人的说话视频微软亚洲研究院发布了模型,该模型能根据一个人的一张照片和一条音轨生成其说话或唱歌的同步动画视频。VASA代表VisualAffectiveSkillsAnimator,它使用了机器学习分析静态图像和音频片段,然后生成有精确面部表情、头部运动以及与音频口型同步的逼真视频。微软声称该模型在真实性、表现力和效率方面显著优于以前的语音动画方法。微软研究员使用了VoxCeleb2数据集训练了VASA-1。该数据集包含了6112位名人的逾100万条话语,提取自上传到YouTube的视频。VASA-1能以每秒最高40帧的速度生成512x512像素分辨率的视频,它潜在可用于深度伪造,研究人员没有公开模型源代码。来源,频道:@kejiqu群组:@kejiquchat

封面图片

微软推出VASA-1 AI框架,实现高分辨率逼真对口型人像视频的即时生成

微软推出VASA-1AI框架,实现高分辨率逼真对口型人像视频的即时生成微软公布了其最新研发的VASA-1AI框架,该技术能够利用一张真人肖像照片和一段个人语音音频,生成精确且逼真的对口型视频。这项技术特别注重面部表情和头部动作的自然性,解决了以往面部生成技术中存在的僵硬和缺乏说服力的问题,克服了恐怖谷现象。VASA-1框架通过扩散Transformer模型进行面部动态和头部运动的训练,将嘴唇动作、表情、眼睛注视和眨眼等行为视为单一潜在变量,实现了512×512分辨率40FPS的视频生成。此外,微软还采用了3D技术辅助标记人脸面部特征,并设计了损失函数,以增强面部3D结构的捕捉和重现能力。关注频道:@TestFlightCN

封面图片

【数字人民币APP新增专属头像和个人红包功能】

【数字人民币APP新增专属头像和个人红包功能】2022年12月26日07点50分12月26日消息,数字人民币(试点版)APP近日已更新至1.0.16版本,新增专属头像和个人红包功能。专属头像功能是指用户可以从APP自动生成的6个头像中,选择一个作为自己的专属头像。据了解,APP生成的头像是以数字人民币IP圆圆形象为基础。个人红包又包含现金红包、群红包和专属红包三类,分别可通过数字人民币APP或微信、QQ、支付宝等社交平台领取或发放。此外,数字人民币APP无网无电支付功能也已亮相,用户可将个人钱包添加至手机PAY或SIM卡中来开通硬钱包。据悉,部分安卓手机机型用户开通手机PAY硬钱包后,可见无网无电支付入口。(证券时报)

封面图片

Meta开源一个人工智能项目 将涂鸦变成动画

Meta开源一个人工智能项目将涂鸦变成动画基础人工智能研究(FAIR)团队最初在2021年发布了该工具的网络版本。它只需要用户上传一张类似人类的单一角色的图画,或者选择一个演示人物。如果你使用自己的涂鸦,你会看到一个同意书,询问Meta是否可以使用你的画来帮助训练其模型,不需要提供同意也可以继续使用这个工具。接下来,上传者需要手动调整一个捕捉框的大小,使之与原作紧紧相贴,界面中提供了笔和橡皮擦来调整图纸,然后再调整关节的位置。完成这一切后,就可以看到草图的动画版本。你可以从四类预设的动画中挑选:舞蹈、搞笑、跳跃和行走。动画图画利用物体检测模型、姿势估计模型和基于图像处理的分割方法来捕捉数字版本的图画。然后,它使用传统的计算机图形技术对图像进行变形和制作动画。在演示上线后的几个月内,用户已经授权Meta公司使用160多万张图片用于培训。一些人上传了公司标志、动漫人物、鱼和毛绒动物的图片,尽管该工具规定只有人类形象可以使用。除了要求提供包括声音效果和文本覆盖在内的更深入的工具集外,人们上传到该工具的一系列图像表明,人们对更广泛的绘画到动画的体验有广泛的兴趣。这在一定程度上带动了Meta公司将该项目与大约180000张图纸的数据集进行了开源。Meta在一篇博文中写道:"通过将模型和代码作为开放源码发布,该项目为开发者提供了一个起点,使他们能够建立和扩展该项目,促进开放源码社区内的创新和协作文化。"了解更多:https://github.com/facebookresearch/AnimatedDrawings...PC版:https://www.cnbeta.com.tw/articles/soft/1354681.htm手机版:https://m.cnbeta.com.tw/view/1354681.htm

封面图片

阿里大文娱AI数字人“厘里”录制真人秀综艺

阿里大文娱AI数字人“厘里”录制真人秀综艺据悉,厘里已正式接入语义大模型“通义星尘”,从而成为国内首个能够无限制自由对话的超写实数字人。这一技术突破使得厘里能够更加自然、流畅地与人类进行交互,为观众带来前所未有的视听体验。通义星尘作为个性化角色创作平台,其基于大规模高质量个性化对话数据,通过分阶段的个性化训练策略,使模型在保持通用能力的基础上,展现出更加拟人、情感丰富、语言风格鲜明的特点。这种能力使得厘里在角色的个性、风格遵循上具有更强的指令遵循能力,为观众呈现出一个鲜活、立体的数字人形象。与通用模型相比,通义星尘具有深度定义人设、与用户建立深度连接、支持多种形式对话互动等独特优势。同时,它还能基于具体事件设定展开对话,使得厘里在情感陪伴、游戏NPC、IP复刻等场景中有着广泛的应用前景。除了正在热播的《盒子里的猫》,厘里还参与了新纪录片《万物经济学》的制作,该纪录片即将上线与观众见面。此外,由其主演的科幻微短剧也将在今年下半年在优酷播出,无疑为观众带来了更多期待。...PC版:https://www.cnbeta.com.tw/articles/soft/1426076.htm手机版:https://m.cnbeta.com.tw/view/1426076.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人