近日,第39届神经信息处理系统大会(The 39th Annual Conference on Neural Information Processing Systems,NeurIPS 2025)录用结果揭晓,实验室2023级博士生周子淇(导师姚德中副教授)和2024级硕士生谷昌伟(导师金海教授)的论文双双被录用。
周子淇的论文题目为“Vanish into Thin Air: Cross-prompt Universal Adversarial Attacks for SAM2”。视频分割大模型(Segment Anything Model 2, SAM2) 凭借强大的泛化能力,正迅速成为各类视觉任务的重要工具。其新引入的记忆机制有效弥补了前代图像分割模型 SAM 在视频处理中的局限性。然而,尽管已有研究揭示了 SAM 对对抗样本的显著脆弱性,SAM2 的鲁棒性仍未得到系统性探索,现有针对 SAM 的攻击是否能够直接迁移至 SAM2 也尚不明确。该研究首先分析了现有攻击在 SAM 与 SAM2 上的性能差异,并归纳出由架构差异引发的两大核心挑战:提示引导的靶向性纠正与样本间的跨帧语义纠缠。针对这些挑战,提出了首个面向 SAM2 的跨提示通用对抗攻击方法 UAP-SAM2。在跨提示迁移性方面,UAP-SAM2 设计了目标扫描策略,通过将视频帧划分为区域并随机分配提示,有效降低了扰动对特定提示的依赖;在攻击有效性方面,UAP-SAM2 构建了双语义偏差框架,通过同时偏离当前帧语义并破坏跨帧一致性,显著提升了扰动质量。在六个数据集和两类分割任务上的大量实验表明,UAP-SAM2 在 SAM2 上展现出显著优势,SAM2平均性能下降超过 40%,充分揭示了其鲁棒性缺陷。
谷昌伟的论文题目为"Sim-LLM: Optimizing LLM Inference at the Edge through Inter-Task KV Reuse"。该研究首次从任务间相似性角度出发,分析了边缘环境中大语言模型(Large Language Model,LLM)任务之间存在的高度语义相似性,并发现相似任务所生成的键值 (Key-Value, KV)缓存也具有明显相似性。基于这一观察,研究设计了Sim-LLM,其通过复用已处理任务的顶层KV缓存,显著减少重复计算,在几乎不损失模型精度的前提下,实现了高效的推理加速。Sim-LLM创新地引入了局部敏感哈希(Locality Sensitive Hashing,LSH)的快速任务匹配机制和跨节点的原型学习策略,支持多边缘服务器间动态识别相似任务并共享KV缓存。在缓存管理方面,该方法仅保留具有丰富语义信息的顶层KV状态,既有效降低了存储开销,也充分利用了Transformer高层表示更具语义区分度的特性。实验表明,与当前最先进的KV缓存优化方法相比,Sim-LLM平均提升系统吞吐量33.04%,最高可达39.40%;平均降低显存占用30.05%,最高达34.65%,同时在多项下游任务中保持与原模型相当的准确率。
NeurIPS每年举办一次,是机器学习领域的顶级会议之一,本届会议录用率约为24.52%。
(通讯员:周子淇、谷昌伟)