知识蒸馏工具包 该工具包使您可以使用知识提炼来压缩机器学习模型。要使用此工具包,您需要提供一个教师模型,一个学生模型,用于训练和验证的数据加载器以及一个推理管道。该工具包基于和 ,因此,教师模型和学生模型必须是,数据加载器也必须是。 演示版 我们提供了两个使用此工具包并压缩机器学习模型的演示。在这些演示中,我们展示了如何创建学生和教师模型,推理管道,培训和验证数据加载器,并将它们传递到知识提炼工具包中。 压缩资源: 压缩WAV2VEC 2.0: 开始知识蒸馏培训! 要开始知识提炼训练,您需要首先实例化类,然后调用方法。 在下表中,我们显示了KnowledgeDistillationTraining类的构造函数接受的参数。 参数名称 类型 解释 默认 teacher_model torch.nn.Module 教师模型。 None student_model torch.nn.Mo