摘要:探讨如何通过压缩方法和架构设计,显著减少生成过程中的冗余计算,提升推理效率。
本期为TechBeat人工智能社区第645期线上Talk。
北京时间12 月4日(周三)20:00,无问芯穹算法研究员袁之航的Talk将准时在TechBeat人工智能社区开播!
他与大家分享的主题是: “高效视觉生成 - 减少冗余计算的探索研究”,届时他将
探讨如何通过压缩方法和架构设计,显著减少生成过程中的冗余计算,提升推理效率。Talk·信息
▼
主题:高效视觉生成 - 减少冗余计算的探索研究
嘉宾:无问芯穹 · 算法研究员 - 袁之航
时间:北京时间 12月4日(周三)20:00
地点:TechBeat人工智能社区
一键预约TALK!
Talk·介绍
▼
近年来,视觉生成模型的表现令人瞩目,但高质量生成通常伴随高昂的计算代价。本次talk聚焦于两大主题:后训练加速和高效模型设计。研究发现当前生成模型中存在大量冗余计算,我们将探讨如何通过压缩方法和架构设计,显著减少生成过程中的冗余计算,提升推理效率。
Talk大纲
1.背景 - 视觉生成模型在图像、视频生成领域的快速发展;扩散模型和Transformer(如DiT)在生成任务中的优势与面临的效率瓶颈;高质量生成的计算复杂度和时间成本问题。
2. 动机与问题 - 已训练模型中的冗余计算(空间、时间、条件冗余);扩散模型逐步去噪过程中的系统性冗余;如何在不损失生成质量的前提下提升推理效率。
3. 解决方案 - 后训练加速方法(DiTFastAttn),包括Window Attention with Residual Sharing减少空间冗余、Attention Sharing across Timesteps利用时间步相似性、Attention Sharing across CFG跳过条件生成冗余 (后训练加速方法实现1.8x加速比);高效模型设计(ECAR),通过多阶段连续token生成策略与多阶段流分布建模降低计算复杂度;实验结果展示了在高分辨率生成任务中的显著加速效果(如FLOPs减少10倍,速度提升5倍)。
4. 总结 - 讨论后训练加速与高效设计的下一步研究重点;展望未来在更大规模生成任务中的应用与优化方向。
Talk·预习资料
▼
论文链接:
论文链接:
Talk·提问交流
▼
在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!
你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!
Talk·嘉宾介绍
▼
无问芯穹 · 算法研究员
袁之航本博毕业于北京大学,是一位专注于高效人工智能(Efficient AI)的算法研究员。他在多个国际会议和期刊上发表了论文,包括CVPR、NeurIPS、ICLR、ECCV、ISSCC、DATE、HPCA、TPAMI和TCAD等,被引用次数超过1000次。目前,袁之航在清华大学的NICS-EffAlg团队以及创业公司无问芯穹进行高效人工智能相关的研究。
个人主页:
https://www.techbeat.net/grzytrkj?id=42107
-The End-
如果你也想成为讲者
▼
自荐 / 推荐
单人Talk | 团队专场 | 录播or直播 | 闭门交流
多种方式任你选择!
推荐讲者成功也有奖励哦~
关于TechBeat人工智能社区
▼
TechBeat(www.techbeat.net)隶属于将门创投,是一个荟聚全球华人AI精英的成长社区。
我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。
期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地!来源:科技小熊猫