HandRefiner

223次阅读

解决ai图像生成中手部畸形的问题 目前的图像生成模型,再生成图像方面已经非常出色,但在生成人类手部的图像时却常常出现问题,比如手指数量不对或者手形怪异。

HandRefiner项目地址:https://github.com/wenquanlu/HandRefiner/

HandRefiner论文地址:https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner模型下载:https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner提出一种方法,在不改变图片其他部分的情况下,修正那些形状不正常的手部图像。 它采用条件修补方法来纠正畸形的手部,可以识别出手部的正确形状和手势,并将这些正确的信息重新应用到原始的错误手部图像上。

HandRefiner主要特点:

– 精确性:HandRefiner能够精确地识别和修正生成图像中的畸形手部,提供了一种有效的后处理解决方案。

– 保持一致性:在修正手部的同时,它保持图像其他部分的一致性,不会影响图像的整体质量。

– 利用合成数据:研究中发现了ControlNet中的一个相变现象,这使得HandRefiner能够有效地利用合成数据进行训练,而不会受到真实手和合成手之间域差异的影响。这意味着HandRefiner还能学习很多不同的手的样子,这样无论手有多怪,它都能找到合适的方式来修正。

– 适用性:尽管HandRefiner主要针对手部图像,但其基本原理和技术可以适用于其他需要精细修正的图像生成任务。比如这种方法也可以用来修正其他部分,比如脚或者耳朵。

HandRefiner工作原理: 

1、手部识别与重建: 识别问题:首先,HandRefiner识别出生成图像中形状不正常的手部。重建手部:使用手部网格重建模型,HandRefiner根据人手应该有的样子重新画出一个正确的手。它能够重建出正确的手部形状和手势。这得益于模型基于正常手部的训练数据,即使是在畸形的手部图像中也能生成合理的重建结果。

2、条件修补: 修补过程:HandRefiner采用条件修补方法来处理识别出的问题手部。它生成一个深度图,这个深度图包含了关于手部形状和位置的重要信息。集成与修正:然后,这个深度图被用作指导,通过ControlNet集成到扩散模型中。HandRefiner会把这个重新画好的手放回原来的画作中,替换掉那个画错的手,但其他部分不动,保持原画的风格和内容。

HandRefiner
收录说明:
1、本网页并非 HandRefiner 官网网址页面,此页面内容编录于互联网,只作展示之用;2、如果有与 HandRefiner 相关业务事宜,请访问其网站并获取联系方式;3、本站与 HandRefiner 无任何关系,对于 HandRefiner 网站中的信息,请用户谨慎辨识其真伪。4、本站收录 HandRefiner 时,此站内容访问正常,如遇跳转非法网站,有可能此网站被非法入侵或者已更换新网址,导致旧网址被非法使用,5、如果你是网站站长或者负责人,不想被收录请邮件删除:i-hu#Foxmail.com (#换@)

正文完
 0
Ai开源项目
版权声明:本站原创文章,由 Ai开源项目 于2024-01-01发表,共计1316字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。