上一篇
CLEAR是什么？一文让你看懂CLEAR的技术原理、主要功能、应用场景
DisPose是什么？一文让你看懂DisPose的技术原理、主要功能、应用场景
来源：卓商AI
发布时间：2025-04-05
DisPose概述简介
DisPose是北京大学、中国科学技术大学、清华大学和香港科技大学的研究团队一起推出的，提高人物图像动画质量的控制技术，基于从骨骼姿态和参考图像中提取有效的控制信号，无需额外的密集输入。DisPose将姿态控制分解为运动场引导和关键点对应，生成密集运动场以提供区域级引导，同时保持对不同体型的泛化能力。DisPose包括一个即插即用的混合ControlNet，能改善现有模型生成视频的质量和一致性。
DisPose的功能特色
运动场引导：从骨骼姿态生成密集运动场，提供区域级的密集引导，增强视频生成中的动作一致性。
关键点对应：提取与参考图像中姿态关键点对应的扩散特征，将扩散特征转移到目标姿态，保持身份信息的一致性。
即插即用模块：作为插件模块，支持无缝集成到现有的人物图像动画模型中，无需修改现有模型参数。
质量与一致性提升：混合ControlNet改善生成视频的质量和外观一致性。
无需额外密集输入：在不依赖于额外密集输入（如深度图）的情况下工作，减少对参考角色和驱动视频之间身体形状差异的敏感性。
DisPose的技术原理
运动场估计：
稀疏运动场：DWpose估计骨骼姿态，基于关键点追踪运动位移，表示为轨迹图。
密集运动场：条件运动传播（CMP）基于稀疏运动场和参考图像预测密集运动场，提供更细致的运动信号。
关键点特征提取：用预训练的图像扩散模型提取参考图像的DIFT特征，并将这些特征与关键点对应起来，形成关键点特征图。
混合ControlNet：设计了混合ControlNet，在训练期间更新，不需要冻结现有模型的其他部分，便于将运动场引导和关键点对应无缝集成到现有动画模型中。
特征融合：
基于特征融合层将稀疏和密集运动特征结合起来，生成最终的运动场引导信号。
基于多尺度点编码器将关键点特征与U-Net编码器的中间特征相结合，增强特征的语义对应。
控制信号集成：将运动场引导和关键点对应作为额外的控制信号，注入到潜在的视频扩散模型中，生成准确的人物图像动画。
DisPose项目介绍
项目官网：lihxxx.github.io/DisPose
GitHub仓库：https://github.com/lihxxx/DisPose
arXiv技术论文：https://arxiv.org/pdf/2412.09349
DisPose能做什么？
艺术创作：艺术家创作出具有特定动作和表情的动态艺术作品，如动态绘画和数字雕塑。
社交媒体：在社交媒体平台上，生成个性化的动态头像或者动态表情，增加互动的趣味性。
数字人和虚拟偶像：创建和控制虚拟角色的动作和表情，应用于直播、视频会议或者作为虚拟偶像进行表演。
电影制作：在电影后期制作中，生成或修改角色的动作，提高制作效率。
虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，生成与用户互动的虚拟角色，提供更加自然和逼真的互动体验。
© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有，未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
相关文章
-
混元图生视频是什么？一文让你看懂混元图生视频的技术原理、主要功能、应用场景2025-04-05 -
R2R是什么？一文让你看懂R2R的技术原理、主要功能、应用场景2025-04-05
-
3DIS-FLUX是什么？一文让你看懂3DIS-FLUX的技术原理、主要功能、应用场景2025-04-05
-
SynCamMaster是什么？一文让你看懂SynCamMaster的技术原理、主要功能、应用场景2025-04-05
-
Computer Use OOTB是什么？一文让你看懂Computer Use OOTB的技术原理、主要功能、应用场景2025-04-05
-
Linly-Dubbing是什么？一文让你看懂Linly-Dubbing的技术原理、主要功能、应用场景2025-04-05
卓商AI
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
最新发布
1
2
3
4
5
6
7
8
9
10
猜你喜欢
tella
Tella是AI驱动的屏幕录音机和YouTube描述生成器，使您能够快速，精确地为YouTube视频制作优化的描述。 Tella允许您在有或没有成绩单...
mochivideo ai
介绍Mochivideo AI-最终的视频生成工具，将您的想法在几分钟内栩栩如生。这种强大的AI技术创建了高质量的视频，使您可以轻松，快速地生成专业内...
surveysensum
SurveySensum是一个客户反馈平台，可帮助企业收集客户的见解。他们提供各种服务，包括咨询，调查创建和数据分析。他们与各种规模和各个行业的企业合...
live portrait
通过现场肖像使您的照片栩栩如生。他们的AI技术可以通过栩栩如生的面部表情和精确的嘴唇同步精确地使您的静止图像动画。用各种样式和尺寸自定义动画，并使用先...
albert
阿尔伯特（Albert）是具有持久记忆的终极AI聊天机器人伴侣。有了Albert，您将获得一个超级智能AI合作伙伴的好处，该合作伙伴会记住您以前的对话...
ai group cards
AI组卡是一个数字平台，可让您使用AI技术创建个性化的组卡。它非常适合人力资源团队，办公室经理以及任何想为生日，告别，周年纪念日和其他庆祝活动创建令人...
talkiemate
通过AI虚拟助手生成器Talkiemate探索AI个性的无限潜力。与栩栩如生的AI角色进行迷人和发人深省的对话，解锁了对话的新领域。深入研究与说话的有...
essay writer
论文作家是一种开创性的AI工具，可简化学术写作过程。它的智能功能支持从集思广益到格式和引用的学生，研究人员和学者。节省时间并通过论文作者提高论文的质量...
AI爱好者的一站式人工智能AI工具箱，累计收录全球10,000⁺好用的AI工具软件和网站，方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用，力争做全球排名前三的AI网址导航网站，欢迎您成为我们的一员。
