弹幕信息下的多目标视频分类任务综述

文中探究了弹幕信息协助下的视频多标签分类任务。多标签视频分类任务根据视频内容从不同角度赋予视频多个标签，与视频推荐等应用紧密相关。多标签视频数据集的高标注成本和对视频内容的多角度理解是该研究领域面临的主要问题。弹幕是一种新近出现的用户评论形式，受到了众多用户的欢迎。由于用户参与度高，弹幕视频网站的视频拥有大量用户自发添加的标签，这些标签是天然的多标签数据。

文中以此构建了一个多标签视频数据集，并整理出视频标签间的层级语义关系，该数据集在未来将公开发布。同时，弹幕文本模态包含大量与视频内容相关的细粒度信息，因此在以往视频分类工作融合视觉和音频模态的基础上，引入弹幕文本模态进行视频多标签分类研究。