Year: 2025
Type: article
Abstract: 加速器如图形处理单元（GPU）等凭借强大的并行计算能力，被广泛用于加速深度学习等计算密集型任务。为充分释放GPU的硬件潜力，系统层优化技术尤为关键，其中核函数融合是一种被主流框架广泛采用的优化手段。横向融合可并行调度多个无依赖核函数，提高资源利用率。然而，现有横向融合方法多基于静态计算图，难以适配具备动态分支结构的任务，如混合专家模型等，其输入在运行时动态路由至不同子网络，导致融合核函数难以预先生成。为此，本文提出Fluxer，一种面向动态分支的自动化横向融合技术。该方法引入动态分支表达抽象，辅助编译系统识别动态结构，并结合激活特性筛选候选核函数，生成一个支持运行时输入分发的融合核函数。编译过程中进一步引入参数结构体化、选择性循环展开等优化技术，提升融合函数执行效率。实验结果表明，Fluxer在无需人工干预的前提下实现了最高1.76倍的性能提升，兼顾通用性与执行效率，适用于深度学习等多类动态计算任务。
Source: Scientia Sinica Informationis
Authors: Weihao CUI, Yukang CHEN, Han ZHAO, Quan CHEN, Jing YANG, Minyi GUO
Language: English
Subfield: Hardware and Architecture
Field: Computer Science
Domain: Physical Sciences
Open Access status: bronze
OpenAlex ID: W4415188954