近日，2020级博士生赵思凡（导师姚德中教授）的论文“SPViT: Accelerate Vision Transformer Inference on Mobile Devices via Adaptive Splitting and Offloading”被 IEEE Transactions on Mobile Computing (TMC) 期刊录用。

Vision Transformer（ViT）已在多种计算机视觉任务中展现出最前沿的表现，包括人脸识别、视频分析和实时流媒体。然而，由于其高昂的计算成本，在资源受限的移动设备上部署和推理ViT成为了一大挑战。例如传统方法剪枝、量化、蒸馏、网络搜索等虽能设计出紧凑模型，但往往未能平衡准确性、延迟、灵活部署和移动设备资源限制；而将计算卸载至云端虽能降低延迟，却因网络不稳定和隐私泄露问题难以满足用户需求要求。为了解决上述挑战，研究人员对三大Vision Transformer在智能视觉应用中的使用进行了详细调研。结果表明，不同层类别的推理延迟呈现出规律性分布。基于此，文章提出了一种名为SPViT的推理加速方法，通过自适应地划分和卸载ViT到多个可用计算设备上，加速移动设备上的视觉Transformer推理。首先，SPViT在层内级别采用Head-Width划分和Neuron-Width划分，对视觉Transformer进行细粒度分割。然后，我们建立了一个自回归集成移动平均模型，用于自适应地将各划分部分卸载到每个设备上。最后，我们设计了离线和在线优化算法，进一步降低了各设备上中间数据引起的计算和传输开销。基于真实原型实验，SPViT在四种最先进的模型上有效地将推理延迟降低了2.2倍到3.3倍，满足移动端实时响应和隐私保护需求，为智能视觉应用提供了有效的新型加速方案。

IEEE Transactions on Mobile Computing (TMC) 是移动计算领域最权威的国际学术期刊之一，也是中国计算机学会CCF A类期刊。该期刊涵盖移动计算、无线通信、移动网络、分布式系统等方面的研究。发表原创性研究论文、技术报告、综述文章以及相关领域的重要研究进展。

（通讯员：赵思凡）