基于計(jì)算機(jī)視覺(jué)的人體行為識(shí)別研究.pdf

1、人體行為識(shí)別(Human Action Recognition，HAR)是計(jì)算機(jī)視覺(jué)與模式識(shí)別領(lǐng)域內(nèi)一個(gè)新興的研究方向，目前已經(jīng)在諸如視頻監(jiān)控、視頻檢索和異常行為檢測(cè)等領(lǐng)域展現(xiàn)出極其廣泛的應(yīng)用前景。另外，對(duì)HAR的研究也間接的促進(jìn)了步態(tài)識(shí)別、人臉識(shí)別和表情分析等問(wèn)題的研究。然而，當(dāng)前該領(lǐng)域的研究中存在著如下的問(wèn)題：(1)單個(gè)特征表達(dá)能力不足；(2)當(dāng)前行為識(shí)別研究主要是基于可見(jiàn)光成像的，而針對(duì)紅外成像的行為識(shí)別的研究較少；(3)紅外成像

2、紋理缺失及邊緣的不顯著使得許多表達(dá)模型的有效性不足；(4)部分算法流程過(guò)于復(fù)雜，進(jìn)而影響到識(shí)別系統(tǒng)的實(shí)時(shí)性。因此，為了有效的克服這些因素的不利影響，研究高效的行為識(shí)別算法一直是國(guó)內(nèi)外研究的熱點(diǎn)。
　　本論文主要分析和探討了人體行為的描述及建模，多特征融合構(gòu)建，特征融合過(guò)程中融合策略的選取，復(fù)雜特征的約減及分類(lèi)器的設(shè)計(jì)等，進(jìn)而對(duì)基于計(jì)算機(jī)視覺(jué)的人體行為的表達(dá)與識(shí)別展開(kāi)研究，取得的主要成果如下：
　　(1)研究了基于融合特征的人

3、體行為識(shí)別方法。為克服單個(gè)行為表達(dá)方法有效性上的不足，提出了一種基于剪影和光流信息的多特征融合行為表達(dá)方法：方向剪影光流直方圖(HOSOOF，Histogram of Oriented Silhouette and Oriented Optical Flow)。該方法首先利用背景差分提取運(yùn)動(dòng)顯著區(qū)域，然后提取運(yùn)動(dòng)顯著區(qū)域的方向剪影直方圖(HOS)和方向光流直方圖(HOOF)，提出一種表達(dá)層融合策略，構(gòu)建融合特征HOSOOF結(jié)合支持向量機(jī)

4、(SVM)識(shí)別人體行為，有效提高了人體行為識(shí)別的正確率。實(shí)驗(yàn)以廣泛使用的公開(kāi)行為數(shù)據(jù)集Weizmann為研究對(duì)象，正確識(shí)別率達(dá)到99.8％以上，驗(yàn)證了所構(gòu)建融合特征HOSOOF的有效性。另外還考察了基于相同的融合特征結(jié)合不同分類(lèi)器對(duì)識(shí)別性能的影響。
　　(2)研究了基于稠密軌跡特征的紅外成像的人體行為識(shí)別方法。提出并構(gòu)建了基于稠密軌跡的多尺度融合特征(DTFF，Dense Trajectory-based Fusion Featu

5、re)來(lái)表達(dá)紅外人體行為。該方法首先通過(guò)稠密采樣獲得輸入行為視頻的稠密軌跡(DT)，以此計(jì)算基于稠密軌跡的3個(gè)描述子：方向梯度直方圖(HOG)、光流直方圖(HOF)和運(yùn)動(dòng)邊界描述子(MBH)；再采用詞袋庫(kù)模型和表現(xiàn)較好的表達(dá)層融合策略，構(gòu)建了融合特征DTFF；最終作為k-NN分類(lèi)器的輸入，以IADB紅外行為庫(kù)為測(cè)試數(shù)據(jù)集，得到高達(dá)96.7%以上的正確識(shí)別率，明顯優(yōu)于其他方法。同時(shí)，驗(yàn)證了所提出融合特征(DTFF)及識(shí)別方法與其他方法相比

6、，克服了常規(guī)單尺度及單個(gè)行為表達(dá)方法在面對(duì)紅外成像紋理缺失及邊緣不顯著時(shí)有效性不足的問(wèn)題。
　　(3)針對(duì)當(dāng)前許多行為識(shí)別方法流程復(fù)雜的問(wèn)題，研究了對(duì)影響行為序列整體表達(dá)的關(guān)鍵問(wèn)題，分析并探討了基于模板匹配思想的人體行為識(shí)別方法，從而針對(duì)人體行為的視頻片段在3D行為序列空間中通過(guò)濾波器組直接進(jìn)行運(yùn)動(dòng)能量分解，提出了基于運(yùn)動(dòng)能量模板(MET，Motion Energy Template)的行為識(shí)別方法，可以避免諸如目標(biāo)定位和分割等預(yù)

7、處理操作；然后使用 MET特征并結(jié)合 SVM，在Weizmann和KTH人體行為數(shù)據(jù)庫(kù)上進(jìn)行相關(guān)測(cè)試；同時(shí)對(duì)選用不同特征降維方法、不同分類(lèi)方法獲得的實(shí)驗(yàn)結(jié)果（例如 VEI模型、動(dòng)態(tài)模板法和局部運(yùn)動(dòng)模式等）進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明本方法在識(shí)別率方面具有明顯的比較優(yōu)勢(shì)。
　　(4)更進(jìn)一步，針對(duì) MET計(jì)算量較大且特征維數(shù)較高的問(wèn)題，提出了基于MET簡(jiǎn)化模型(SMET)和多類(lèi)相關(guān)向量機(jī)(mRVM)的人體行為識(shí)別方法。該方法首次在特征池化

8、階段使用兩層8叉樹(shù)最大池化方法（Max-pooling）簡(jiǎn)化了MET模型，并首次將mRVM和基于濾波器組的運(yùn)動(dòng)能量分解方法結(jié)合起來(lái)，應(yīng)用到人體識(shí)別領(lǐng)域。在Weizmann人體行為數(shù)據(jù)庫(kù)上進(jìn)行了測(cè)試，識(shí)別率雖然比MET模型下降了1.1%，但仍取得了有競(jìng)爭(zhēng)力的98.9%的識(shí)別效果，同時(shí)大幅減少了特征維數(shù)。
　　基于以上結(jié)果，本文系統(tǒng)的研究了基于計(jì)算機(jī)視覺(jué)的人體行為識(shí)別問(wèn)題。將上述成果應(yīng)用到具體人體行為識(shí)別系統(tǒng)中，必將對(duì)系統(tǒng)性能產(chǎn)生積極