近日，第41届国际机器学习大会（The Forty-first International Conference on Machine Learning, ICML 2024）录用结果揭晓，实验室2021级博士生白小凡（导师马晓静教授）的论文“Boundary Intersection Sensitive Fingerprinting for Tampering Detection of DNN Models”被录用。

随着人工智能应用的发展，深度学习模型在各个领域得到了广泛应用，其中最常见的应用场景就是基于云的AI服务（Machine Learning as a Service, MLaaS），但MLaaS也给云端部署的DNN（Deep Neural Network）模型带来了潜在的完整性风险，即云端部署的DNN模型可能会被第三方服务器进行未授权非法篡改。这些非法DNN模型篡改通常以注入恶意行为、降低性能以降低竞争优势或减少计算资源以节省资金等为目的。完整性验证可以公开检查部署的模型是否被篡改，这对于基于云的 AI 服务至关重要，其中基于模型指纹的黑盒完整性验证是目前被认为最有现实应用价值的解决方案。然而，现有基于模型指纹的黑盒完整性验证方案存在敏感度不足的问题，尤其是在面临模型篡改很微弱时，现有的方案往往表现的不如人意。为此，文章从模型决策边界交界数量的角度，定义了一个新的指纹样本敏感度，并从理论上证明了二者的关系: 指纹样本所在的决策边界交界的数量越多，指纹样本的敏感性就越高。基于上述关系，提出了一种新的黑盒模型指纹完整性验证方案BISF，并设计了一个部分信息熵损失函数，使BISF能够有效地定位到DNN模型多个类别的决策边界交界。广泛的实验评估表明，BISF在性能上优于现有的最先进的指纹方法，特别是当指纹样本所在决策边界交界的数量增加时，BISF相较于现有最先进指纹方法在对微弱模型篡改上的检测性能平均提升了4.5倍。

ICML是人工智能领域的顶级国际学术会议，也是中国计算机学会（CCF）推荐的A类会议，2024年的录用率约为27.5%。

（通讯员：白小凡）