基于圖像特征及上下文的圖像標注算法研究與實現(xiàn).pdf

1、近些年來，隨著信息技術(shù)、互聯(lián)網(wǎng)尤其是移動互聯(lián)網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)上各種數(shù)據(jù)信息呈爆發(fā)式增長，人們正從信息時代步入大數(shù)據(jù)時代，對這些數(shù)據(jù)進行整理、分析、理解將產(chǎn)生巨大的價值。不同于傳統(tǒng)數(shù)據(jù)分析處理的結(jié)構(gòu)化數(shù)據(jù)，網(wǎng)絡(luò)上絕大多數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，而這些非結(jié)構(gòu)化數(shù)據(jù)中圖像占了較大部分，對互聯(lián)網(wǎng)中圖像的分析、研究顯得愈發(fā)重要。由于人們所理解的語義信息與圖像底層特征之間“語義鴻溝”的存在，用戶想要從海量的互聯(lián)網(wǎng)圖片中尋找出自己感興趣的圖片是較為困難

2、的，迫切需要一種方法來方便用戶尋找到所期望的圖片，因此，連接高層語義與低層圖像特征的方法逐步成為研究的一個熱點，而圖像自動標注技術(shù)（Automatic Image Annotation，AIA）是一個較好的填補用戶與圖片之間“語義鴻溝”的方法。
　　傳統(tǒng)的“圖像自動標注技術(shù)”僅僅著眼于圖像本身，對圖像相關(guān)信息的利用局限于圖像本身特征而沒有考慮其他信息，在互聯(lián)網(wǎng)時代，圖像大多存儲在網(wǎng)絡(luò)上，而這些互聯(lián)網(wǎng)上圖像有著豐富的上下文信息，對這

3、些上下文信息加以分析利用將有助于對圖像產(chǎn)生更準確、豐富的標注。
　　本文對圖像自動標注問題進行了研究。采用了一種基于圖像特征和上下文信息的互聯(lián)網(wǎng)圖像自動標注方法來對圖像進行標注，該方法分為兩個階段，通過圖像特征進行標注以及通過上下文對圖像進行補充標注。
　　在利用圖像特征進行標注過程中，本文同時利用了圖像深度學(xué)習(xí)特征和SURF特征對圖像進行標注，并對二者的標注結(jié)果按一定權(quán)重進行融合。本文并沒有像傳統(tǒng)方法那樣利用一個訓(xùn)練好的分

4、類器，然后根據(jù)圖像特征對圖像進行分類，而采用了一種新的標注方法，利用已經(jīng)標注圖像與待標注圖像的相似性，來對待標注圖像進行標注，這樣就將圖像的自動標注問題轉(zhuǎn)化為圖像的檢索問題。
　　為了加快圖像的檢索過程，本文采用B+樹森林結(jié)構(gòu)來實現(xiàn)高維向量的快速近似最近鄰（ANN）檢索。該結(jié)構(gòu)基于圖像特征，通過構(gòu)造多個由隨機向量構(gòu)成的隨機分類平面來對樣本圖像特征進行劃分，位于隨機分類平面兩側(cè)的特征分別被劃分到分類平面的不同子樹中，再采用與上層不同

5、的隨機分類平面對分類結(jié)果進行二分類，重復(fù)以上過程，直至該類中的圖片數(shù)量不超過閾值為止，最終形成B+樹類型的數(shù)據(jù)結(jié)構(gòu)，通過構(gòu)造多個這樣的B+樹形成B+樹森林。
　　在利用深度學(xué)習(xí)進行圖像標注時，利用上述數(shù)據(jù)結(jié)構(gòu)對待標注圖片特征進行劃分，理論上，和待標注圖片劃分在相同葉子節(jié)點的樣本圖片與待標注圖片相似度高，利用這些圖片與待標注圖片的相似度對樣本圖像的標注進行加權(quán)投票，可得到待標注圖像的深度學(xué)習(xí)標注。
　　對于SURF特征標注過程

6、，采用與深度學(xué)習(xí)標注類似的思想，在樣本圖像庫中檢索SURF特征最相似的TopN張圖片，對這TopN張圖片的標注進行加權(quán)，可得到待標注圖像的SURF特征標注。對深度學(xué)習(xí)標注結(jié)果和SURF標注結(jié)果按照一定的權(quán)重進行融合即可得到圖像特征標注。
　　圖像的上下文往往包含與圖像內(nèi)容相關(guān)的信息，通過對圖像上下文信息的分析挖掘，將產(chǎn)生更加豐富準確的標注。本文通過圖像上下文信息對圖像進行補充標注。利用RAKE算法對圖像的上下文信息進行核心關(guān)鍵詞提

7、取，可得到圖像的上下文關(guān)鍵詞及對應(yīng)的權(quán)重，為了防止引入無關(guān)的上下文信息，產(chǎn)生錯誤的標注結(jié)果，本文利用該關(guān)鍵詞標注與圖像特征標注的杰卡德距離來對上下文關(guān)鍵詞標注的權(quán)重進行重新加權(quán)，然后對加權(quán)之后關(guān)鍵詞標注集合與特征標注集合進行合并，對每個標注按照其權(quán)重大小進行排序，并按照一定的閾值進行選取，即可得到最終的圖像標注結(jié)果。
　　與傳統(tǒng)方法相比，本文所方法的優(yōu)點是無需對每個標簽進行單獨訓(xùn)練、標注效率高，且由于本文方法不受訓(xùn)練集或者標注詞集