用于多个跨域少量学习的团队知识蒸馏

尽管小样本学习(FSL)取得了很大进展，但它仍然是一个巨大的挑战，尤其是当源集和目标集来自不同领域时，也称为跨域小样本学习(CD-FSL)。利用更多的源域数据是提高CD-FSL性能的有效途径。然而，来自不同源域的知识可能会相互纠缠和混淆，这会损害目标域的性能。

2023年3月27日，天津大学季仲教授带领的研究团队在FrontiersofComputerScience上发表了他们的新研究。

该团队提出团队知识蒸馏网络(TKD-Net)来解决CD-FSL，探索一种帮助多位教师合作的策略。他们将知识从教师网络的合作中提取到元学习框架中的单个学生网络中。它结合了面向任务的知识蒸馏和教师之间的多重合作，以培养对看不见的任务具有更好泛化能力的高效学生。此外，他们的TKD-Net同时采用基于响应的知识和基于关系的知识来传递更全面和有效的知识。

具体来说，他们提出的方法包括两个阶段：教师发展阶段和多层次知识蒸馏阶段。他们首先通过监督学习分别使用来自多个可见域的训练数据对教师模型进行预训练，其中所有教师模型都具有相同的网络架构。在获得多个特定领域的教师模型后，多层次的知识在元学习范式中从教师的合作转移到学生。

面向任务的蒸馏有利于学生模型快速适应少样本任务。学生模型是基于原型网络和教师模型提供的软标签进行训练的。此外，他们还进一步探索了嵌入在相似性中的知识，并探索了教师的相似性矩阵，以转移小样本任务中样本之间的关系。它引导学生学习更具体、更全面的信息。

未来的工作可能侧重于自适应地调整多个教师模型的权重，并寻找更多的方法来有效地聚合来自多个教师的知识。