近日，2023届硕士毕业生潘婉宁（导师姚德中副教授）的论文 “Local-global Knowledge Distillation in Heterogeneous Federated Learning with Non-iid Data”被 IEEE Transaction on Computers（TC） 录用。

联邦学习是一种既能降低通信开销又能保护客户端数据隐私的分布式机器学习算法。然而，联邦学习面临着分散存储数据造成的数据异构挑战，即每个客户端拥有的数据分布各不相同，如果直接采用FedAvg模型聚合会导致客户端偏移（client-drift）问题。为了解决这一问题，论文提出了FedGKD算法，在客户端本地训练时，FedGKD使用全局模型对本地模型进行知识蒸馏，通过对本地模型的参数空间进行正则化，使本地模型的梯度向全局模型的损失函数的全局最小值方向下降。为了进一步提高模型性能，论文提出了FedGKD-Vote算法，对之前若干轮的全局模型进行集成聚合，得到当前训练轮次的全局模型。实验结果表明，FedGKD和FedGKD-Vote在不同的计算机视觉（Computer Vision，CV）和自然语言处理（Natural Language Processing，NLP）数据集上均取得最佳性能。具体而言，在CIFAR-10、CIFAR100数据集上比基线模型提高了2%-3%，在Tiny-ImageNet数据集上比基线模型提高了8%，在AG News和SST-5数据集上比基线模型提高了1%-3%。此外，消融实验还进一步验证了FedGKD和FedGKD-Vote的鲁棒性。

IEEE Transactions on Computers是计算机体系结构领域的顶级期刊之一，属于中国计算机学会CCF A类期刊，当前影响因子为3.183。

（通讯员：石月鑫）