通过乘数交替方向法优化多任务学习评估指标
多任务学习(MTL)旨在通过利用它们之间的共享因素来提高多个任务的泛化性能。 各种指标(例如F分数,ROC曲线下的面积)用于评估MTL方法的性能。 大多数现有的MTL方法都试图将分类错误或分类均方误差最小化。 在本文中,我们提出了一种直接优化大型MTL问题评估指标的方法。 直接优化评估指标的MTL公式是两个部分的组合:1)在所有任务的权重矩阵上定义的正则化器,以捕获这些任务的相关性; 2)多个结构化铰链损失的总和,每个对应于一项任务的某些评估指标的替代。 这种配方在优化方面具有挑战性,因为其两个部分都不光滑。 为了解决这个问题,我们提出了一种基于乘法器交替方向方案的新颖的优化程序,将整个优化问题分解为与正则化器相对应的一个子问题和与结构化铰链损耗相对应的另一个子问题。 对于大量的MTL问题,第一个子问题具有封闭形式的解决方案。 为了解决第二个子问题,我们通过坐标上升提出了一种有效的原始对偶算法。 大量的评估结果表明,在大量的MTL问题中,所提出的直接优化评估指标的MTL方法相对于相应的基准方法具有更好的性能提升。
暂无评论