海角社区
王英教授团队论文 "MuDPK: Knowledge Distillation with Multi-Granularity and Dynamic Priors for Graph Classification" 被IEEE TKDE接收,论文第一作者为王英教授指导的2023级硕士研究生魏宝航,王英教授为通讯作者。
图神经网络(GNNs)在图分类任务中取得了显著成功,但其高昂的计算成本限制了在边缘设备等资源受限环境下的部署。知识蒸馏(KD)技术能够将复杂GNN(教师模型)的知识转移到轻量级多层感知机(MLP,学生模型)中,从而兼顾推理效率与性能。然而,现有的图蒸馏方法主要针对节点分类设计,直接应用于图分类时面临两大核心挑战:1.监督信号极其稀疏:区别于节点分类的密集标签,图分类中数百个节点的整图仅对应一个全局标签,导致学生模型难以捕获细粒度的局部结构信息。2.结构化表征瓶颈:MLP本质上缺乏显式处理拓扑结构的能力,与天然具备消息传递机制的GNN之间存在巨大的表征空间鸿沟。针对上述问题,本文通过分析教师与学生模型在特征空间与学习路径上的差异,提出了一种融合多粒度结构信息与动态先验知识的蒸馏框架(MuDPK)。该框架主要包含三个核心组件:自适应图传播特征增强(Adaptive Graph Propagation):通过参数化传播权重,显式地将拓扑结构信息编码进学生模型的输入空间,在不引入额外推理延迟的前提下,有效打破了MLP的表征能力瓶颈。多粒度知识蒸馏(Multi-Granularity Distillation):摒弃了仅依赖输出层软标签的传统方式,设计了涵盖图级(全局拓扑)、子图级(社区结构)和节点级(局部邻域)的三重对齐损失函数。这种层次化策略将单一的图级标签分解为密集的引导信号,全面捕获了教师模型的结构语义。动态先验知识机制(DPK):创新地将教师模型的中间层特征作为“先验知识”直接注入到学生模型中,而非仅仅作为优化目标。通过根据图的复杂度自适应调节知识注入比例,该机制在特征重构过程中为学生模型提供了“学习脚手架”,有效避免了从零开始学习复杂结构的性能崩溃。在PROTEINS、NCI1等8个标准图分类基准数据集以及OGB大尺度分子数据集(ogbg-molhiv, MUV)上的广泛实验表明,MuDPK不仅在精度上超越了现有的主流图蒸馏基线方法(平均准确率提升+1.37%),更在推理速度上展现出巨大优势(平均单样本推理时间减少34.61%),并在极度类别不平衡的大规模任务中保持了卓越的鲁棒性。该方法为在资源受限环境下处理复杂多样的图分类任务提供了一种高效、精准的模型压缩策略。
IEEE Transactionson Knowledge and Data Engineering (TKDE) 是计算机科学、人工智能、数据挖掘与知识工程领域的国际顶级学术期刊,是CCF推荐A类期刊。