潜在空间的多视角低分辨人脸识别算法，曾啸，黄华，提出了一种基于回归的人脸识别算法，采用偏最小二乘法为正面高分辨率特征和侧面低分辨率特征建立潜在空间，在潜在空间中利用岭回取国科论又在线http://www.paper.edu.cn多个变量变换为较少的、相互独立的并且反映原始变量较多信息的若干个主成分。考虑到主成分分析能够有效地对数据进行降维,并且能消除指标间的相关性,本文与文献[5-81一致,采用主成分分析法分别提取侧面低分辨率和正面高分辨率人脸的全局特征。潜在空间在获得∫正侧面高低分辨率人脸全局特征后,根据本文的识别策略,要解决的核心问题是侧面低分辨率特征与止面高分辨率特征之间的回归问题。回归的方法有很多,例如线性回归,最小二乘法,偏最小二乘法,岭回归等由于本文算法与偏最小二乘法有着密切的关系,因此需要对偏最小二乘法进行适当的介绍。偏最小二乘汯是一种新型的多元统计数据分析方法,是一种多因变量对多自变量的回归建模方法。作为一个多元线性回归方法,偏最小乘回归的主要目的是要建立一个线性模型}XBE,其中F是具有个变量、个样本点的响应矩阵;X是具有个变量、个样本点的预测矩阵;B是回归系数矩阵;E为误差矩阵,与Y具有相同的维数。偏最小二乘回归和主成分回归一样,都采用得分因子作为原始预测变量线性组合的依据,所以用于建立预测模型的得分因」之间必须线性无关。当响应变量Y和预测变量X中有些变量严重线性相关,可以使用提取因子的方法从这组数据中提取因」,用于计算得分因子矩阵TXW,最后再求出合适的权重矩阵W,并建立线性回归模型YTQE,其中Q是知阵T的回归系数矩阵。一且Q计算出来后,YTQE就等价于YXBE,其中BWQ它可直接作为预测回归模型。以往的一些人脸超分辨率重建算法[9-l1]常常采用偏最小乘法进行回归分析。与以往的算法不同,本文受到文献[2-13]的启发,利用偏最小乘法来为侧面低分辨率特征与正面高分辨率特征建立统一的潜在空间。与文献[13]采用线性迭代偏最小二乘法( SIMPLS)建立统一空间不同,本文采用非线性迭代偏最小二乘法( NIPALS)建立潜在空间假设X为0均值的行列矩阵,Y为0均值的行列矩阵,其中每列表示一个数据,每行表小一维特征。采用迭代算法,其中初始化X1X,Y1Y。米用 NIPALS算法建立统一的潜在空间就是要获待两个投影变换W{1,2,…,}和Q{1,2,…,},使得在每次迭代中,经过w投影的X和q投影的Y的协方差最大,其中w和q分别为行和行列向量,表达成数学形式为:argmaxw Xkw q(1).tHw=l, q 9=1o当提取了w和q后,更新:X=wWt(2)T-y-Yq q(3)得到ⅹ1和Y1。通过达代,直到获得和,其中为提取的潜在空间的维度,小于等于XY的秩。PCA特征空间和潜在特征空间的数据分布如图2所示。其中,图2(a)表示正面高分辨率特征和侧面低分辨率特征在PCA特征空间中的分布;图2(b)表示正面高分辨率特征和侧面低分辨率特征在潜在特征空间中的分布。对比子图2a)和(b),可以看出,在潜在特征空间中数据间的拓扑结构更加一致,更加有利于后续的回归算法取国科论又在线http://www.paper.edu.cn0.6()40.20-.2-0.40.6米正面高分特征十侧面低分特征0.51.5(a)P(A空间中的特征分布0.4米。来米0.2+森*轟+++-0.2米正面高分特征+側面低分特征40.20.400.8(b)潜在空间中的特征分布图2正面高分辨率特征和侧面低分辨率特征的流形结构岭回归由图2(b)可以看出,濬在特征仝间中的侧面低分辨率特征与正面高分辨率特征的拓扑结构变得相似,并且側面低分辨率特征与正面髙分辨率特征在统一的潜在空间中,可以进行比对。但是两种特征之间在尺度上仍然存在差异,直接采用最近邻识别器效果较差。鉴于此,仍然需要在潜在空间引入冋归算法,由侧面低分辨率潜在特征获得正面髙分辨率潜在特征在回归分析中,最常用的算法为最小二乘法,但是在病态问题上,传统的最小二乘法缺乏稳定性与可靠性。鉴于最小二乘法在病态问题上的缺陷,研究者常常用岭回归替代最小二乘法。岭回归又称脊回归、吉洪诺夫正则化,是病态问题诖行回归分析时最经常使用的一种正则化方法。岭回归通过放弃最小二乘法的无偏性,以损失部分信息,降低精度为代价获得更为符合实际、更可靠的回归系数。因此岭回归对病态数据的拟合要强于最小二乘法。鉴于岭回归的上述优点,本文将采用岭回归,由侧面低分辨率潜在特征获得正面高分辨率潜在特征取国科论又在线http://www.paper.edu.cn算法详述本文将对所提岀的算法进行详细介绍。算法分为训练阶段和测试阶段两个阶段。在训练阶段为每一ˆ侧面视角单独训练一个回归模型,在测试阶段棖据输入人脸的视角将图像输入到对应的模型中进行回归,最后在该视角模型的潜在空间中采用最近邻识別获待对应的身份信息。训练阶段步骤1特征提取。利用主成分分析法提取正面高分辨率图像和侧面低分辨率图像的PCA特征,可得:nIY=()X式中:φ和Y分别表示PCA特征提取矩阵和PCA特征:X=[x12x2,x]表示幅图像构成的矩阵,每个列向量表示一个图像,表示X的均值,X=(表示X去中心化后的数据:每一个列向量代表一副图像或者其对应的特征;卜标代表第个側面视角的索引;上标n衣示侧面低分辨率,上标f表示正面高分辨率步骤2特征投影。采用非线性迭代偏最小二乘法将正面高分辨率图像和侧面低分辨率图像的PCA特征投影到潜在空间中,获得对应的潜在特征,可得:(6L=2r式中:L=()1表示澘在特征;W表示侧面低分辨特征投影矩阵;Q表示正面高分辨特征投影矩阵;Y=(-)1表示对PCA特征Y去中心化后的数据;Dm=(m)1表示单样本认证集中所有数据对应的高分辨率潜在特征矩阵;表示对应的单样本认证集;为认证集中的总样本数:上标n表示侧面低分辨率,上标血h表示正面高分辨率。功可以通过上述的步骤1和步骤2计算得到。关W和Q的计算方法,可以参见式(1)(3)步骤3特征回归。采用岭回归在潜在空间上建立回归模型有:RL8式中:R为回归矩阵,且有:R=(C")(L(Ll)2+D)。式中,为一个小常数,实验中取0.0001;Ⅰ表示单位矩阵。测试阶段步骤1特征提取。假定输入图像的视角为,用第个模型的PCA特征提取矩阵对输入低分辨率图像提取PCA特征,获得对应的PCA特征m=(o")(步骤2特征投景。用第个模型的投影矩阵将PCA特征投影到第个潜在空间,获得对应的潜在特征n=W(m-)。取国科论又在线http://www.paper.edu.cn步骤3特祉估计。用训练得到的第个模型的回归矩阵R估计对应的正面高分辨率潜在特征=Rm。步骤4识别。将估计得到的正面高分辨率潜在特征输入到最近邻识别器,与认证集做比对,获得对应的身份信息、ID= arg min(fh fh(10实验结果木文提供与文献[2]方法,GLR方法和文献14方法在 FERET图库的多视角子库上的识别率与吋间复杂度的对比实验结果,以说明本文所提算法的有效性多视角子库本文利用 FERETI1图库的多视角子库进行对比实验。 FERET多视角子库包含200个人物在11种不同视角时的人脸图像,选取其中正负45°之内的7个角度bc(+40°)、bd(+25°)、be(+15°)、ba(0°)、b(-15°)、bg(-25°)、bh(-40)进行实验。一组经过预处理后用于实验的同个人的人脸图像如图3所示,从左到右依次为视角bc、bd、be、ba、bf、bg、bh。图3实验中的用到的某人的7个视角人脸图像算法的识别率实验设计和算法参数设置由丁各个对比算法都包括训练阶段和测试阶段,为了对各个算法公平,实验设计时,训练集和测试集的构成相同。实验中随机选取100个人进行训练,另100个人进行识别,为了避免随机实验带来的不稳定性,做100次随机实验,再求100次实验的平均结果作为最终的结果。实验设计了两组不同分辨率:(1)正面高分辨率人脸图像大小为64*64,侧面低分辨率人脸图像大小为16*16;(2)正面高分辨率人脸图像大小为32*32,侧面低分辨率人脸图像大小为8*8。实验中各个方法的具体实施和参数设置如下在实现文献[2]的方法时,同一个人的所有低分辨率正面和非正面人脸破组合成一个列向量,对所有训练人脸构成的矩阵提取主成分,将主成分特征矩阵按各个视角分开,然后在组合空间中由侧面低分辨率人脸合成对应的正面低分辨率人脸,合成正面低分辨率人脸后,采用主成分分析法提取特征,利用最近邻识别器进行人脸识别。为兼顾识别率和计算效率在该方法使用主成分分析法时取98%的方差累积率。在实现GLR方法时,提供了两种解决方案:(1)由侧面低分辨率人脸合成正面低分辨率人脸(GLR1):(2)由侧面低分辨率人脸合成正面高分辨率人脸(GLR2),合成了正面人脸后,采用主成分分析法提取特征,利用最近邻识别器进行人脸识别。为兼顾识别率和计算效率,主成分分析法取98%的方差累积率。在实现文献纠4]的方法时,训练集中正面高分辨率人臉图像用于构成高分辨率张量,训练集中侧面低分辨牽人脸图像用于构成低分辨率张量,由测试非正面人脸低分辨率图像的身取国科论又在线http://www.paper.edu.cn份向量呆用梯度卜降法达代估计得到正面高分辨率人脸的身你向量用于识别,最速卜降法的步长设置为001,当前后两次误差小于0001或者迭代达到100次时迭代终止。本文算法为了兼顾识别率和计算效率,采用主成分分析法提取特征时取98%的方差累积率。实验结果各个算法在不同视角下的平均识别率和所有视角下识别率的平均值,如图4所示。由图4可以看出,本文算法相比其他对比算法有较人的识别率优势。0000本文算法别家50HGLRLGL0HGLR20一文献[方法100be bd be bf bg b平均(a侧面低分辨率8*8,正面高分辨率32*32100000一—本文算法率50GLRGLR 2OCHGLR一文献[4方法10d be hf h平均(b)侧面低分辨率16*16,正面高分辨率64*64图4在 FERET图库上的平均识别率对比从图4(a)中可以看出,在侧面低分辨率为8*8、正面高分辨率为32*32的实验条件下,本文算法在偏离正面较远的视角bc和bh时,比对比算法中最好的GLR1的识别率高10%以上。而在bd、bf、bg视角时,本文算法比对比算法中最好的GLR1的识别率高20%。在be视角时,本文算法比对比算法中最好的GLR1的识别率高接近20%。本文算法在所有视角时的平均识别率,比对比算法中最好的GLR1的平均识别率高接近20%。同一分辨率时,本文算法接近止面的视角的识别率高于远离止面的视角的识别率,最高吋接近25%(本文算法中视角bf与视角bh的识别率之差)。从图4(b)中可以看出,在侧面低分辨率为16*16,正面高分辨率为64*64的实验条件下,本文算法在视角bc和bh时,比对比算法中最好的HGLR的识别率高10%以上。而在bd、be、bf、bg、bh视角时,本文算法比对比算法中最好的HGLR的识别率高接近20%。本文取国科论又在线http://www.paper.edu.cn算法在所有视角吋的平均识别率比对比算法中最好的HGLR的平均识别率高接近20%。在同一分辨率时,本文算法接近正面的视角的识别率高于远离正面的视角的识别率,最高时接近25%(本文算法中视角bf与视角bc的识别率之差)在同一分辨率时,随着视角越接近正面视角,本文算法的识别率越高,这是因为本文算法利用了不同视角之间数捱在潜在空间的协方差,而视角越接近时,其对应的潜在空间中的数据的协方差貮越人。对比图4(a)和图4(b),在同一视角时,采用本文算法的高分辨率输入比低分辨率输入能获得更高的识别率,这是因为本文算法利用了高分辨率特征的识别性能,而输入图像的分辨率越高,所携带的对识别有帮助的信息就越多算法的时间复杂度时间复杂度是人脸识别算法性能的一项重要指标。本文在 FERET多视角子库上进行了时间复杂度实验,实验中各个对比算法的参数与之前的参数一致,不再详述。各对比算法均在惠普工作站Z600中的 Matlab2014a运行获得平均时间。该工作站安装的操作系统是Windows xp x64专业版,其CPU为 Intel Xeon e562024Ghz*8;该工作站的内存为16G。鉴于实验中的各个对比算法均包括离线训练阶段和在线测试阶段,在对比各算法的时间复杂度时给出离线训练时间和在线测试时间的平均结果。本文中的平均离线训练时间为多次离线训练统计时间总和的平均值。在训练完成后,对测试集中的每张图片进行测试,记录所用的时间总和,最后除以测试图像的总数,得到各对比算法在测试阶段对单张图像识别的平均在线测试时间,实验结果如衣1所示。各个算法后括号中的8*8和16*16用于区分低分辨率测试图像为8*8和1616的情况。表1不同算法离线训练和在线测试的平均时间离线训练时间/s在线测试时间/ms木文算法(8*8)1.469木文算法(16*165.7012.585GLR1(8*8)3.531iR1(1616)0.610GLR2(8*8)0.5873.661GLR2(1616)1.8187.39IIGiLR(880.1551.399HGLR(16*16)0.3401.614文献[4]方法(8*8)0.34018.610文献[4]方法(16*16)1.17060.286表1的数据显小,低分辨率测试图像依次为8*8和16*16时,本文算法的平均离线训练时间依次为3.223s和5.70ls,是所有算法中最长的。由于本文算法的训练过程采用」非线性达代偏最小二乘法( NIPALS)建立潜在空间,因此比其他算法需要更多的训练时间。虽然本文算法的离线训练时间最长,但是在实际应用中,离线训练可以提前准备,·旦训练完成,训练结果便可直接使用,只要耗时在可接受的范围内,都不影响算法的实用性。低分辨率测试图像依次为8*8和16*16时,本文算法的平均在线测试时间依次为1469ms和2.585ms,仅次于HGR方法的1.399ms和1614ms,小于其他对比算法,比文献(4]的方法甚至小一个数量级。由于本文算法和HGLR方法在线测试时都是先用主成分分析法进行降维,再进行后续运算,因此与其他方法相比,耗时较小,并且受测试图像维度的景响较小。本文算法与HGLR方法合成正面高分辩人脸(特征)的步骤都采用线性映射,可以认为其运行量相当;但是本文算法比HGLR多一个线性映射到潜在空间的步骤,因此本文算法在线测取国科论又在线http://www.paper.edu.cn试吋耗吋多于HGLR方法。而GLR和文献4]的方法是在整张图像的所有像素上先做系列运算,再作识别,因此与本文算法相比运算量较大,而且随着图像分辨率的堦大,运算量随之增大;而且文献[4]的方法在线测试时需要进行迭代,会进一步增大运算量。综上所述,本文算法的时间复杂度低于GLR1、GLR2和文献[4]的方法,稍稍高于HGLR方法。在时间复杂度方面的优势说明本文算法具有潜在的应用价值。结论针对实际人脸识别中遇到的视角变化、分辨率变化和认证集单样本的问题,提出了种潜在空间的多视角低分辨率人脸识别算法。釆用主成分分析分别提取侧面低分辨率和正面高分辨率的人脸特征,利用偏最小二乘法将每一种侧面视角的低分辨率特征与其对应的正面高分辨率特征投影到一个单独的潜在空间。在每个潜在空间中,利用训练数据,采用岭回归获得侧面低分辨率人朎濬在特征与正面高分辨率人臉潜在特征的映射关系。对于仨意一个输入的侧面低分辨率人验,可以通过获得的映射关系合成对应的正面高分辨率潜在特征,将该特征输入到最近邻分类器中,就可以找出其对应的身份信息。在 FERET图库上的实验验让了木文算法的有效性和高效性[参考文献] (References)[1 Li Annan, Shan Shiguang, Chen Xilin, et al. Maximizing intra-individual correlations for face recognitionacross pose differences[C]/2009 IEEE Conference on Computer Vision and Pattern RecognitionYork.IEEE.2009:605-6l1[2] Sharma A, Dubey A, Jagannatha A N, et al. Pose invariant face recognition based on hybrid- global linearregression[J]. Neural Computing and applications, 2010,19(8):1227-1235[3] Chai Xiujuan, Shan Shiguang, Chen Xilin, et al. Locally linear regression for pose-invariant face recognitionU. IEEE Transactions on Image Process, 2007, 16(7): 1716-1725I Jia Kui, Gong Shaogang Multi-modal tensor face for simultaneous super-resolution and recognition[C]TenthEEE International Conference on Computer Vision, BeiJing, China, 2005: 1683-1690[5]张琳彦,吴宁,齐春.基于线性呹射的灰度级超分辨率人脸识别方法叮中国科技论文在线,2011,6(7)482-488Zhang linyan, Wu Ning, Qi Chun. Gray-scale super resolution for face recognition based on linear mapping [j]Sciencepaper Online, 2011, 6(7): 482-488.(in Chinese6」黄昉,张宝吕,刘金琨.PCA在人脸识别中的改进算法中国科技论文布线,2011,6(1):54-58Huang Fang, Zhang Baochang, Liu Jinkun. Promoted PCA and its application in human face recognition [J]Sciencepaper Online, 2011, 6(1): 54-58.(in Chinese[7] Deng Wcihong, Hu Jiani, LwJiwcn, ct al. Transform-invariant PCA: a unified approach to fully automatic faccalignment, representation, and recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence2014,36(6):1275-12848]Cho H, Roberts R, Jung B, et al. An efficient hybrid face recognition algorithm using PCA and GABORwavelets [j International Journal of Advanced robotic Systems, 2014, 11: 54[9] Wu Wei, Liu Zheng, He Xiaohai Learning-based super resolution using kernel partial least squares [J]. Imageand Vision Computing, 2011, 29(6): 394-4060 Ogawa Y, Ilori T, Takiguchi T, et al. Super-resolution using GMM and PLS regression []i14th IEEEInternational Symposium on Multimedia. New York: IEEE, 2012: 298-301I ]liang Junjun, Ilu Ruimin, Ilan Zhen, et al. Two-step super resolution approach for surveillance face imagethrough radial basis function-partial least squares regression and locality-induced sparse representation [J] Journalof Electronic Imaging, 2013, 22(4): 041120[12]Hao Yuanhong, Qi Chun. Face hallucination based on modified neighbor embedding and global smoothnessconstraint J. IEEE Signal Processing Letters, 2014, 21(10) 1187-1191[13 Sharma A, Jacobs w. Bypassing synthesis: PI S for Face Recognition with pose, low-resolution andsketch c]/ 2011 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2011:593-600[14]Phillips P J, Wechsler H, Huang J, et al. The Feret database and evaluation procedure for face-recognitionalgorithms []. Image and vision computing, 1998, 16(5): 295-30615] Phillips PJ, Moon H, Rizvi SA, et al. The FERET evaluation methodology for face-recognition algorithms [J]IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(10): 1090-1104