基于SRU機(jī)器人的人臉表情識(shí)別系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著社會(huì)的發(fā)展和科技的進(jìn)步，機(jī)器人在日常生活中扮演的角色越來(lái)越重要，對(duì)機(jī)器人與人的交互功能提出新要求。我們希望在機(jī)器人與人的交互系統(tǒng)中，機(jī)器人不僅需要完成人類的指令，而且需要感知人類情感變化。人臉是最重要的人類情感表達(dá)途徑，人臉表情識(shí)別在人類情感分析中占有重要的地位。人臉表情識(shí)別系統(tǒng)由人臉檢測(cè)、表情特征提取和表情分類構(gòu)成，特征提取是表情識(shí)別系統(tǒng)中最關(guān)鍵的部分。由于缺乏有效地表情特征表達(dá)方式，表情識(shí)別系統(tǒng)在實(shí)際使用中效果欠佳。
　　

2、深度學(xué)習(xí)（Deep Learning）作為層次特征學(xué)習(xí)的方式，近年來(lái)一直受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，在自然語(yǔ)言處理、圖像識(shí)別和語(yǔ)音識(shí)別等問(wèn)題上取得很好的效果。
　　本文借助深度模型，對(duì)表情特征提取方式進(jìn)行研究，在此基礎(chǔ)上提出三種基于轉(zhuǎn)移學(xué)習(xí)思想的表情識(shí)別模型，并在SRU機(jī)器人實(shí)驗(yàn)平臺(tái)上實(shí)現(xiàn)表情識(shí)別系統(tǒng)。本文主要完成的工作集中在以下四個(gè)方面：
　　首先，提出基于轉(zhuǎn)移學(xué)習(xí)的表情識(shí)別模型。該模型利用實(shí)現(xiàn)人臉識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)中人

3、臉特征進(jìn)行轉(zhuǎn)移學(xué)習(xí)，實(shí)現(xiàn)對(duì)中性、驚訝、高興等七種表情狀態(tài)的分類。為了構(gòu)建較復(fù)雜的實(shí)驗(yàn)環(huán)境，選擇CK+表情數(shù)據(jù)庫(kù)、JAFFE表情數(shù)據(jù)庫(kù)、KDEF表情數(shù)據(jù)集和PICS中表情數(shù)據(jù)集中明確標(biāo)簽的樣本加入表情組合數(shù)據(jù)庫(kù)，同時(shí)對(duì)該數(shù)據(jù)集中所有樣本進(jìn)行人臉檢測(cè)和灰度化處理，該模型在表情組合數(shù)據(jù)庫(kù)上取得80.49％平均識(shí)別率。通過(guò)不同遮擋率的表情數(shù)據(jù)集的實(shí)驗(yàn)，證明該模型對(duì)遮擋具有較強(qiáng)的魯棒性；
　　其次，對(duì)單個(gè)網(wǎng)絡(luò)轉(zhuǎn)移模型進(jìn)行改進(jìn)，提出基于多模型

4、的表情識(shí)別模型。該模型從兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)相同、訓(xùn)練集不同的人臉識(shí)別網(wǎng)絡(luò)中提取人臉特征，對(duì)7種表情狀態(tài)進(jìn)行分類，在表情組合數(shù)據(jù)庫(kù)上取得81.02%平均識(shí)別率。經(jīng)過(guò)在不同遮擋率的表情數(shù)據(jù)集的實(shí)驗(yàn)，該模型對(duì)遮擋的魯棒性有較大地提升。
　　然后，提出基于多任務(wù)的表情識(shí)別模型。該模型使用結(jié)構(gòu)復(fù)雜的卷積網(wǎng)絡(luò)完成多種人臉屬性分類任務(wù)，從該網(wǎng)絡(luò)中提取人臉特征，識(shí)別7種表情狀態(tài)，并在組合表情數(shù)據(jù)集上取得92.02%平均識(shí)別率。通過(guò)豐富的實(shí)驗(yàn)，發(fā)現(xiàn)人臉屬

5、性信息比人臉識(shí)別信息更易于表情分類，每種人臉屬性信息對(duì)表情識(shí)別的響應(yīng)是不同的。因此，在使用多任務(wù)轉(zhuǎn)移學(xué)習(xí)時(shí)，應(yīng)選擇與人臉表情有關(guān)的人臉屬性任務(wù)用于提高表情識(shí)別效果。同樣地，經(jīng)過(guò)遮擋表情數(shù)據(jù)集的實(shí)驗(yàn)，該模型對(duì)遮擋也具有較強(qiáng)的魯棒性。
　　最后，設(shè)計(jì)和實(shí)現(xiàn)在SRU機(jī)器人平臺(tái)上的人臉表情識(shí)別系統(tǒng)。該系統(tǒng)由Kinect對(duì)圖像捕獲模塊、人臉檢測(cè)與追蹤模塊和表情識(shí)別模塊構(gòu)成。Kinect對(duì)圖像捕獲模塊利用Kinect拍攝外界環(huán)境圖像；人臉檢測(cè)