社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  aigc

ACM MM 2025 | 小红书AIGC团队提出风格迁移加速算法STD

机器之心 • 3 周前 • 45 次点击  


本论文主要作者来自小红书 AIGC 团队(Dynamic-X-Lab),Dynamic‑X‑LAB 是一个专注于 AIGC 领域的研究团队,致力于推动姿态驱动的人像生成与视频动画技术。他们以高质量、高可控性的生成模型为核心,围绕文生图(t2i)、图像生成(i2i)、图像转视频(i2v)和风格迁移加速等方向展开研究,并通过完整的开源方案分享给开发者与研究者社区。


基于一致性模型(Consistency Models, CMs)的轨迹蒸馏(Trajectory Distillation)为加速扩散模型提供了一个有效框架,通过减少推理步骤来提升效率。然而,现有的一致性模型在风格化任务中会削弱风格相似性,并损害美学质量 —— 尤其是在处理从部分加噪输入开始去噪的图像到图像(image-to-image)或视频到视频(video-to-video)变换任务时问题尤为明显。


这一核心问题源于当前方法要求学生模型的概率流常微分方程(PF-ODE)轨迹在初始步骤与其不完美的教师模型对齐。这种仅限初始步骤对齐的策略无法保证整个轨迹的一致性,从而影响了生成结果的整体质量。


为了解决这一问题,文章提出了单轨蒸馏(Single Trajectory Distillation,STD),一个从部分噪声状态出发的训练框架。


为了抵消 STD 引入的额外时间开销,文章设计了一个轨迹状态库(Trajectory Bank),预先存储教师模型 PF-ODE 轨迹中的中间状态,从而有效减轻学生模型训练时的计算负担。这一机制确保了 STD 在训练效率上可与传统一致性模型保持一致。


此外,该工作还引入了一个非对称对抗损失(Asymmetric Adversarial Loss),可显著增强生成结果的风格一致性和感知质量。


在图像与视频风格化任务上的大量实验证明,STD 在风格相似性和美学评估方面均优于现有的加速扩散模型。



  • 论文地址:https://arxiv.org/abs/2412.18945

  • 项目主页:https://single-trajectory-distillation.github.io/

  • 项目 Github: https://github.com/dynamic-X-LAB/Single-Trajectory-Distillation

  • 项目模型:https://huggingface.co/Single-Trajectory-Distillation/Single-Trajectory-Distillation

  • 关键词:AIGC、视频风格迁移、扩散模型加速


STD 与其他方法的差异


如图 2 所示,(a) 中的传统一致性蒸馏方法(Other CMs)从 x_0 加噪得到不同的 x_t,再拟合多条 PF-ODE 轨迹的初始部分,存在轨迹不对齐问题。而在 (b) 中,文章提出的单轨迹蒸馏(Single-Trajectory Distillation, STD)方法则从一个固定的加噪状态 x_(τ_η ) 出发,通过教师模型完整地去噪出多个 x_t,并以此为训练目标,使学生模型在一条完整轨迹上实现自一致性。这种策略有效解决了训练 - 推理路径不一致的问题,提升了整体生成质量。



为了避免从 x_(τ_η ) 开始反复推理带来的训练开销,进一步提出了轨迹缓存库(trajectory bank),用于预存教师模型轨迹中的中间状态,从而保持训练效率不变。同时,引入了非对称对抗损失(asymmetric adversarial loss),对不同噪声级别下的生成图与真实图进行对比,有效提升图像饱和度,减少纹理噪声。


前置理论


【扩散模型】


扩散模型通过多步噪声叠加模拟数据退化过程,并在生成阶段通过逆向去噪获得真实样本。基于分数匹配理论,前向过程可表述为将数据分布转化为高斯噪声的随机微分方程(SDE):。Song 等人证明存在概率流常微分方程(PF-ODE)与 SDE 具有相同边界概率密度,其形式为 ,其中 为去噪模型预测的分数项。基于此可发展多种数值解法,包括 DDIM-Solver、DPM 系列等求解器。


【轨迹】


在扩散模型中,轨迹直观表征了样本在加噪与去噪过程中的演化过程,但现有研究鲜少明确定义这一概念。文章将轨迹点定义为特定时间步的边界概率密度(可通过样本分布估计),从而支持轨迹样本分布的量化分析。前向扩散 SDE 轨迹可表述为 ,其中 ;反向扩散轨迹则定义为 。当模型充分预训练且  时,有  成立,此时  表示带去噪模型 ϕ 的 ODE 求解器。


【基于部分加噪的编辑】


自一致性模型通过减少推理步数实现加速,其核心在于确保任意时刻的生成函数满足不同时间步 t,t' 反向扩散到  的自一致性,即 。基于蒸馏方法可高效构建一致性模型,其损失函数定义为:



其中 n 均匀采样于 {1,...,N-1},s 为目标步长。计算期望时   通过 SDE 生成,而  由 ODE 求解器 确定。为提升训练稳定性,采用 EMA 策略更新目标网络参数 


方法介绍



【单轨迹蒸馏理论】


在扩散模型中,理想情况下反向去噪轨迹应与前向扩散轨迹严格互逆。但实际中,不完美去噪模型会导致:


  • 轨迹不一致性:不同起点 η,η' 的反向轨迹  与互不等价。

  • 误差传播:若模型预测噪声误差为  ,则去噪样本  与前向样本  的偏差满足:



针对图像 / 视频风格化任务中固定起点 η 的需求,提出基于一致性模型仅在固定起点的单条轨迹上做一致性蒸馏,具体包含两个关键点:


  • 固定噪声强度起点 τ_η=η⋅T(即 )。 

  • 使用教师模型 ϕ 生成完整轨迹 ,引导学生模型 θ 学习该轨迹的自一致性。


根据第二部分对轨迹的定义,可以写出单轨迹蒸馏损失函数的表达式如下:



为降低蒸馏误差,约束学生模型学习的时间步 s 接近教师步 t: 



其中 γ 表示控制目标时间步 s 的取值下限比例因子通过缩短 t 与 s 的距离,可以减小误差上界,同时保留随机性提升模型性能。



【轨迹状态库】


在 STD 训练过程中,教师模型的全轨迹状态需通过多步 ODE-Solver 进行反向扩散,导致训练耗时显著增加。为解决此问题,提出轨迹状态库(Trajectory Bank),其存储教师模型沿反向扩散轨迹 的中间状态。通过按采样概率 ρ 从库中随机抽取 ,可直接获取 t 时刻的轨迹状态样本,避免从 x_0 加噪至 τ_η 再逐步去噪的高耗时过程。


【非对称对抗损失】


受到 MCM 方法启发,提出非对称对抗损失函数。不同于传统方法约束 与真实图像  的匹配,论文中建立  与 x_r 的约束关系(0



其中 F 表示 DINO-v2 模型,D_ψ 表示判别器,ψ 表示判别器的可学习参数,x_r 指对 x_0 加噪 r 步后获得的样本。



 实验结果


  • 训练集:Open-Sora-Plan-v1.0.0

  • 测试集:wikiArt(10 张) + COCO(100 张) + 自定义 100 张图像 / 12 个视频及 15 种风格图像的测试集

  • 评估指标:风格相似度(CSD)、LAION 美学评分和时间一致性(Warping Error)指标

  • 对比方法:LCM / TCD / PCM / TDD / Hyper-SD / SDXL-Lightning / MCM


【对比实验】






STD 与当前多种加速方法在 8 步、6 步、4 步下进行对比,在风格相似性和美学分数上达到 SOTA 水平。其中图像生成在 NFE=8 时 CSD 分数比 Hyper-SD 提升↑0.032;视频生成的 Warping Error 达到 0.166,显著优于 MCM 的 0.257。从可视化(图 4)中可以看出 STD 方法的风格质量和图像质量显著更高;在不同 CFG 的定量指标折线图中(图 5)也表现出了更优水平。


视频效果:




【消融实验】


文章对单轨迹蒸馏方法、轨迹状态库以及非对称对抗损失函数做了消融实验(表 2),当使用轨迹状态库时,抵消了 STD 带来的额外 3.8 倍训练耗时,而 STD 方法和非对称对抗损失函数都显著提升了风格相似性分以及美学分。




其他重要参数的取值和特性消融实验:


STD 和非对称对抗损失强度(Fig 6):强度越大,细节和噪点越少,对比度越强,画质越好。



不同的噪声起点(Fig 8):η 越大,风格化程度越大,但是内容相关性越弱。



不同的目标时间步 s 的取值下限比例因子(Fig 10):更大的 γ 值带来更低噪声,更强的非对称对抗损失产生更高对比度;γ=0.7 在风格保持与细节呈现间取得最佳平衡。



非对称对抗损失目标时间步位置(Table 3、Fig 9):当 r




【可扩展性试验】


文章进一步讨论了 STD 方法的适用范围,从 STD 的理论推导上看,该方法可用于其他任何 “基于部分噪声的图像 / 视频编辑” 任务,如 inpainting 等。为了验证猜想,文章展示了一组使用 STD 和其他加速方法用于 inpainting 的对比图。如图 7,相比 LCM 和 TCD 方法,STD 的 inpainting 效果更加自然。



结语


文章针对基于一致性模型的图像视频风格迁移加速方法,重点优化了风格相似性与美学质量。研究发现前向 SDE 轨迹中不同噪声强度会导致 PF-ODE 轨迹产生差异,据此提出基于特定噪声强度的单轨迹蒸馏方法(STD),有效解决了训练与推理轨迹不对齐问题。为降低 STD 方法的训练成本,创新性引入轨迹库机制,并采用非对称对抗损失提升生成质量。对比实验验证了本方法在风格保持与美学表现上的优越性,系统消融实验证实了各模块的有效性。该方法可扩展至部分噪声编辑任务,文章已探索了基于 STD 的图像修复应用,为后续相关工作提供新思路。


图片


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/185191
 
45 次点击