关注“FightingCV”公众号
回复“AI”即可获得超100G人工智能的教程
单RTX4090，每秒生成100张图！
一种专为实时交互式图像生成而设计的一站式解决方案，登顶GitHub热榜。
方案名为StreamDiffusion，支持多种模型和输出帧率。
无论是图像到图像，还是文本到图像，都能实时生成：
重点是，该项目现已开源，在GitHub热榜已狂揽3400+星。
经测试，使用SD-turbo模型在去噪步骤为1步的情况下，文本-图像每秒帧率可达106，图像-图像每秒帧率达到93。
CM-LoRA+KohakuV2模型在4步的情况下，文本-图像每秒帧率为38，图像-图像每秒帧率为37。
除了高吞吐量、低延迟，StreamDiffusion还做到了低功耗。单块RTX3060上，可降低58.2%的功耗；单块RTX4090，降低49.8%。
网友们也是玩嗨了，纷纷上手尝试：
浅浅留下一个字：
StreamDiffusion长啥样？
StreamDiffusion由来自UC伯克利、日本筑波大学等的研究人员联合提出。
StreamDiffusion Pipeline包含六大组件：Stream Batch、残差无分类器指导（RCFG）、输入-输出队列、随机相似性过滤器、KV-Caches预计算、带有小型自动编码器的模型加速工具。
首先Stream Batch，是将原来顺序的去噪步骤改为批量化处理。允许在一个批处理中，每幅图像处于去噪流程的不同阶段。
如此一来，可以大大减少UNet推理次数，显著提高吞吐量。
此外，原先的CFG算法中，需要额外大量计算负样本，导致计算效率低下。
RCFG方法则构建一个“虚拟残差噪声”，这样就只需要一次或者零次负样本计算，减少了计算负样本的开销。
相比之前的CFG方法加速了2倍。
而输入-输出队列主要是利用队列存储缓冲输入和输出，将图像数据预处理等操作与UNet主体网络分隔开，实现pipeline各个处理环节的并行化，防止处理速度不匹配的情况发生。
随机相似性过滤器，可以基于图像相似性跳过一些UNet处理，减少不必要的计算量，降低功耗：
预计算则是提前缓存一些静态量，如提示嵌入、噪声样本等，减少每次生成的重复计算。
最后，使用TensorRT、Tiny AutoEncoder等加速模块，对模型进行优化，进一步提升推理速度。
在测试阶段，研究人员使用SD-turbo、512x512分辨率、批处理大小为1，进行文本到图像的生成。
结果，使用StreamDiffusion可以在10毫秒内生成一张图像，也就是一秒100多张图。
参考链接：https://github.com/cumulo-autumn/StreamDiffusion
量子位
往期回顾
基础知识
【CV知识点汇总与解析】|损失函数篇
【CV知识点汇总与解析】|激活函数篇
【CV知识点汇总与解析】| optimizer和学习率篇
【CV知识点汇总与解析】| 正则化篇
【CV知识点汇总与解析】| 参数初始化篇
【CV知识点汇总与解析】| 卷积和池化篇 （超多图警告）
【CV知识点汇总与解析】| 技术发展篇 (超详细！！！)
最新论文解析
NeurIPS2022 Spotlight | TANGO：一种基于光照分解实现逼真稳健的文本驱动3D风格化
ECCV2022 Oral | 微软提出UNICORN，统一文本生成与边框预测任务
NeurIPS 2022 | VideoMAE：南大&腾讯联合提出第一个视频版MAE框架，遮盖率达到90%
NeurIPS 2022 | 清华大学提出OrdinalCLIP，基于序数提示学习的语言引导有序回归
SlowFast Network：用于计算机视觉视频理解的双模CNN
WACV2022 | 一张图片只值五句话吗？UAB提出图像-文本匹配语义的新视角！
CVPR2022 | Attention机制是为了找最相关的item？中科大团队反其道而行之！
ECCV2022 Oral | SeqTR：一个简单而通用的 Visual Grounding网络
如何训练用于图像检索的Vision Transformer？Facebook研究员解决了这个问题！
ICLR22 Workshop | 用两个模型解决一个任务，意大利学者提出维基百科上的高效检索模型
See Finer, See More！腾讯&上交提出IVT，越看越精细，进行精细全面的跨模态对比！
MM2022｜兼具低级和高级表征，百度提出利用显式高级语义增强视频文本检索
MM2022 | 用StyleGAN进行数据增强，真的太好用了
MM2022 | 在特征空间中的多模态数据增强方法
ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者
ECCV2022｜只能11%的参数就能优于Swin，微软提出快速预训练蒸馏方法TinyViT
CVPR2022|比VinVL快一万倍！人大提出交互协同的双流视觉语言预训练模型COTS，又快又好！
CVPR2022 Oral｜通过多尺度token聚合分流自注意力，代码已开源
CVPR Oral | 谷歌&斯坦福（李飞飞组）提出TIRG，用组合的文本和图像来进行图像检索
