Yiding Yang、Jiayan Qiu、Mingli Song、Dacheng Tao、Xinchao Wangらの研究チームが2020年のCVPR（IEEE/CVF Computer Vision and Pattern Recognition）で発表した論文「Distilling Knowledge from Graph Convolutional Networks」によると、知識蒸留はグラフ畳み込みネットワーク（GCN）のようなグラフ構造データにも適用可能です。同論文は、事前学習済みGCNモデルから知識を蒸留する初の専用手法として、教師モデルと生徒モデル間で局所構造の情報分布を比較することでトポロジー（位相構造）に関する知識を伝達する「局所構造保存モジュール」を提案しています。従来のCNN向けに設計された蒸留手法をそのまま転用するのではなく、格子状ではないグラフ構造データ特有の課題に対応することがこの手法の特徴であり、教師モデルと生徒モデルのグラフ構造が異なる動的なシナリオにも拡張できるため、コンパクトかつ高性能な生徒モデルの構築が可能になるとされています。