联邦蒸馏是联邦学习中的一种新的算法范式使客户端能够训练不同的网络架构.在联邦蒸馏中学生可以通过提取客户端对公共服务器数据的平均预测来学习他人的信息而不会牺牲他们的个人数据隐私.然而仅使用平均软标签作为所有学生的老师的方法会受到客户端草案的影响尤其是当本地数据是异构时.软标签是模型之间的平均分类分数.在本文中我们提出了一个新的框架FedMMD基于多教师和多特征蒸馏的联邦学习该框架对客户端之间的不同数据分布具有鲁棒性.FedMMD扩展了FD训练程序中的聚集阶段和蒸馏阶段.与在所有学生中共享同一教师的方法相反FedMMD为每个需要进行多次独立蒸馏的学生分配不同的教师.由于每个模型都可以单独视为教师FedMMD解决了共享教师仅具有平均性能由平均软标签引起的问题.同时在每次蒸馏中FedMMD没有使用模型在公共数据上的平均软标签作为教师而是引入了中间表示和软标签的组合作为蒸馏目标以了解教师的更多信息细节.我们在两个公共数据集CIFAR10和MINIST上的广泛实验证明了所提出的方法的性能.