GNN的网络结构能否增加更多深度层次？

本文共计1771个文字，预计阅读时间需要8分钟。

家好，我是小白。了解图神经网络的朋友都知道，对于深层GNN中的过平滑问题，一定不容忽视。随着网络层数的增加，模型的效应反而急剧下降，让人心痛。回忆一下，常见的解决过平滑的方法有……

大家好，我是对白。

了解图神经网络的朋友对于深层GNN中的过平滑问题一定不陌生，随着网络层数的增加，模型的效果反而急剧下降，令人心痛。回忆一下，常见的解决过平滑的方案有DropEdge、基于残差的方法还有Normalization等，但效果却不尽人意。

今天在KDD2022看到一篇有趣的文章，它没有止步于GNN中的过平滑问题，而是从另一个新视角去思考深层网络效果骤降的问题——特征维度的过相关问题。所谓特征维度的过相关，顾名思义，指我们所学习到的特征维度之间高度相关，意味着高冗余以及学习到的维度编码的信息较少，从而损害下游任务效果。文中，作者不仅从理论与实践证明了特征维度相关问题的重要性，还提出方案DeCorr，分别基于显示特征维度与最大互信息两种方法实现去相关任务。

从表中可以看出，所提出的方案对于相同的模型层数，在大多数情况下可以实现最佳性能，并显著减缓性能下降。例如，在Cora数据集中，DeCorr分别将15层GCN和30层GCN提高了58.9%和60.3%。