我院徐卫志、于惠团队近期在人工智能领域的国际顶级学术会议The Thirty-Ninth Annual Conference on Neural Information Processing Systems 2025 (NeurIPS 2025，第39届神经信息处理系统大会)上发表了题为“Attribution-Driven Adaptive Token Pruning for Transformers”的研究论文，为Transformer模型的高效压缩和加速推理提供了突破性的新方法。
本研究提出了一种基于归因的自适应令牌剪枝方法（AD-TP），旨在通过智能筛选和保留最重要的令牌，大幅度降低计算开销，同时保持甚至提高模型的性能。与传统的令牌剪枝方法依赖于注意力权重不同，AD-TP创新性地引入了集成梯度（IG）技术，更精准地评估令牌对模型输出的贡献。此外，AD-TP通过自适应令牌保留模块，根据输入序列的复杂性动态调整剪枝比例，实现了更灵活、高效的剪枝策略。
AD-TP方法不仅显著提高了Transformer模型的推理效率，还结合了知识蒸馏和自监督学习，使得训练过程更加高效且具鲁棒性。与其他主流方法相比，AD-TP在保留性能的同时，降低了计算资源的消耗，并可在边缘设备等计算资源有限的环境中进行高效部署。
NeurIPS 2025于2025年11月30日至12月5日在圣地亚哥和墨西哥城两地同步举行，是人工智能与机器学习领域的顶级会议和中国计算机学会推荐的A类国际学术会议（CCF-A），汇聚了全球顶尖学者的最新研究成果。山东师范大学为该论文的第一署名单位，计算机与人工智能学院2023级博士生闫瑶瑶为第一作者，徐卫志为通讯作者。研究得到了国家自然科学基金、山东省自然科学基金、全国重点实验室开放课题以及中国计算机学会产学合作基金的共同资助。
近年来，团队在计算机体系结构与人工智能交叉领域进行了深入研究，成果发表于NeurIPS、ACM TACO、IEEE TC、HPCA、Neural Networks、ACM TALLIP等计算机领域权威期刊和学术会议。其中，发表于ACM TACO的论文，为山东省首篇在该期刊发表的论文。
图文：徐卫志
编辑：徐扬
审核：
