近日，实验室2023届硕士毕业生潘婉宁（导师姚德中副教授）的论文“FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization”被The Journal of Artificial Intelligence (AIJ) 期刊录用。

联邦学习（Federated Learning，FL）范式的一个基本假设是所有局部模型共享相同的网络架构。然而，这种假设对于具有不同计算和通信能力的异构系统来说效率低下。异构性导致FL的可扩展性受到负面影响，并且因为性能较差设备的存在而减慢训练过程。为解决这一问题，文章提出了一种名为FedHM的新型异构模型联合压缩框架。FedHM基于奇异值分解（Singular Value Decomposition，SVD）对基于卷积层和全连接层进行低秩分解。每一轮联邦训练中，服务器将异构低秩模型分发给客户端，然后将本地训练后将低秩模型恢复为满秩，并聚合得到全局满秩模型。此外，FedHM通过采用低秩模型显著降低了通信成本。在多种实验设置下，FedHM在不同大小模型的性能和鲁棒性方面均表现出色。在数据独立同分布和非数据独立同分布条件下，FedHM的平均准确率分别比最优基线方法提高了5.24%和2.45%。此外，文章还首次从理论上证明了异构设备下FL的收敛性。

The Journal of Artificial Intelligence是国际公认的传统人工智能领域最好的国际期刊之一，也是中国计算机学会CCF A类期刊。该期刊每年仅发表百余篇论文，当前影响因子为5.1。

（通讯员：石月鑫）