PIA

214次阅读

PIA是一种个性化的图像动画方法,通过文本到图像模型中的即插即用模块实现个性化图像动画师,可以生成具有高运动可控性和强文本和图像对齐性的视频,与各种个性化T2I模型兼容,无需特定调整。

所提出的 PIA 根据不同的文本提示以逼真的动作对其进行动画处理,同时保留独具特色的风格和高保真细节,做到外观与运动的完美平衡,减轻外观相关图像对齐挑战,专注于与运动相关的指导对齐。

PIA项目地址:https://pi-animator.github.io/

个性化文本到图像 (T2I) 模型的最新进展彻底改变了内容创作,使非专业人士能够生成具有独特风格的惊人图像。虽然很有前途,但通过文本将逼真的动作添加到这些个性化图像中,在保留独特的风格、高保真细节和通过文本实现运动可控性方面带来了重大挑战。

在本文中,我们介绍了 PIA,这是一款个性化图像动画器,它擅长与条件图像对齐,通过文本实现运动可控性,以及与各种个性化 T2I 模型的兼容性,而无需进行特定调整。为了实现这些目标,PIA 基于具有训练有素的时间对齐层的基础 T2I 模型构建,允许将任何个性化 T2I 模型无缝转换为图像动画模型。

PIA 的一个关键组件是条件模块的引入,该模块利用条件帧和帧间亲和力作为输入,在亲和力提示的指导下传输外观信息,以便在潜在空间中进行单个帧合成。这种设计减轻了内部与外观相关的图像对齐的挑战,并允许更专注于与运动相关的引导对齐。

PIA实现方式:

    时间对齐层基础T2I模型:训练有素,将个性化T2I模型转换为图像动画模型。

    条件模块:利用条件帧和帧间关联,通过关联提示在潜在空间传输外观信息,指导帧合成。

PIA特点:

    即插即用,根据文本提示实现动画处理。

    保留原始风格,高保真度细节不失真。

PIA由上海人工智能实验室贡献。

PIA
收录说明:
1、本网页并非 PIA 官网网址页面,此页面内容编录于互联网,只作展示之用;2、如果有与 PIA 相关业务事宜,请访问其网站并获取联系方式;3、本站与 PIA 无任何关系,对于 PIA 网站中的信息,请用户谨慎辨识其真伪。4、本站收录 PIA 时,此站内容访问正常,如遇跳转非法网站,有可能此网站被非法入侵或者已更换新网址,导致旧网址被非法使用,5、如果你是网站站长或者负责人,不想被收录请邮件删除:i-hu#Foxmail.com (#换@)

正文完
 0
Ai开源项目
版权声明:本站原创文章,由 Ai开源项目 于2023-12-25发表,共计947字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。