微软这个研究相当强啊,可以不经过训练直接融合多个 Lora 不损失效果,而且他们提出的通过 GPT-4V 评价图像质量的方法也很
微软这个研究相当强啊,可以不经过训练直接融合多个Lora不损失效果,而且他们提出的通过GPT-4V评价图像质量的方法也很有参考性。项目介绍:本项目旨在通过新的文本至图像生成方法,着重采用多重低秩适应(Low-RankAdaptations,LoRAs)技术,创造高度个性化且细节丰富的图像。我们介绍了LoRA开关(LoRASwitch)与LoRA组合(LoRAComposite),这两种方式的目标是在精确度和图像质量上超越传统技术,特别是在处理复杂图像组合时。项目特色:免训练方法LoRA开关和LoRA组合支持动态精确地整合多个LoRA,无需进行微调。我们的方法不同于那些融合LoRA权重的做法,而是专注于解码过程,并保持所有LoRA权重不变。ComposLoRA测试平台这是一个全新的综合性测试平台,包含480套组合和22个在六大类别中预训练好的LoRA。ComposLoRA专为评估基于LoRA的可组合图像生成任务而设计,支持定量评估。基于GPT-4V的评估工具我们提出采用GPT-4V作为评估工具,用以判定组合效果及图像质量。该评估工具已证实在与人类评价的相关性上有更好的表现。卓越性能无论是自动化还是人类评价,我们的方法都显著优于现有的LoRA合并技术。在生成复杂图像组合的场景中,我们的方法表现出更加突出的优势。详尽分析我们对每种方法在不同场景下的优势进行了深入的分析。同时,我们还探讨了采用GPT-4V作为评估工具可能存在的偏差。项目地址: