圖像語(yǔ)義理解的關(guān)鍵技術(shù)研究.pdf

1、人類視覺(jué)系統(tǒng)感知和識(shí)別圖像的過(guò)程是一個(gè)從形象到抽象的過(guò)程，而且在該過(guò)程中加入了豐富的先驗(yàn)知識(shí)作為指導(dǎo)。與此對(duì)應(yīng)地，圖像理解研究可以分成底層、中層和高層三個(gè)層次。針對(duì)圖像理解的三個(gè)層次中面臨的主要技術(shù)挑戰(zhàn)，本文重點(diǎn)研究三個(gè)關(guān)鍵技術(shù)：圖像視覺(jué)特征的有效表述、圖像多區(qū)域的合理分割、以及圖像語(yǔ)義標(biāo)注中上下文信息的擴(kuò)大化。在每個(gè)關(guān)鍵技術(shù)的研究中，本文分別提出了新的數(shù)學(xué)模型與表達(dá)形式，設(shè)計(jì)了新的算法并得以應(yīng)用。具體而言，本文的研究?jī)?nèi)容歸納如下：

2、r>　?。?）針對(duì)視覺(jué)特征的有效表述問(wèn)題，利用模糊邏輯推理的原理與結(jié)構(gòu)提取顏色視覺(jué)特征，提出一種結(jié)合視覺(jué)感知的空間模糊鏈接顏色直方圖（SpatialFuzzy Linking Histogram，SFLCH）。SFLCH考慮了不同種顏色特征之間的相似性和同種顏色特征之間的差異性，并記錄了圖像不同區(qū)域內(nèi)像素的顏色分布信息，具有較好的圖像內(nèi)容表述能力，以及操作簡(jiǎn)單、容易實(shí)現(xiàn)等優(yōu)點(diǎn)。此外，還定義了“顏色復(fù)雜度”概念來(lái)描述圖像局部區(qū)域內(nèi)像素顏色

3、的變化程度，將人類視覺(jué)感知作用融入到計(jì)算機(jī)對(duì)圖像的分類與識(shí)別的過(guò)程中，構(gòu)造了基于顏色復(fù)雜度的加權(quán)相似度測(cè)量機(jī)制，進(jìn)一步提高了視覺(jué)特征的表述能力，取得了良好的圖像分類效果。
　?。?）針對(duì)使用FCM算法進(jìn)行圖像分割時(shí)存在對(duì)初始條件和噪聲敏感的問(wèn)題，提出了一種基于區(qū)域顯著色初始策略的聚類分割算法。利用彩色圖像的顏色信息作為確定聚類初始條件的依據(jù)，通過(guò)相鄰像素顏色差異度的約束，限制了噪聲對(duì)判定顯著色的干擾，增強(qiáng)了該方法的準(zhǔn)確性，克服了F

4、CM算法對(duì)聚類初始條件和噪聲的敏感性。通過(guò)在簡(jiǎn)單的顏色數(shù)據(jù)集合中尋找顯著色的實(shí)驗(yàn)，結(jié)果表明區(qū)域顯著色初始策略確定的區(qū)域代表顏色與實(shí)際視覺(jué)效果一致，初始聚類中心分別包含在各個(gè)區(qū)域內(nèi)，具有較好的代表性。并且定義了模糊因子，將像素的鄰域空間關(guān)系融入到聚類過(guò)程中，由于模糊因子是一個(gè)隨著像素空間位置的不同而發(fā)生變化的變量，使得空間信息的融合方式具有自適應(yīng)性，提高了算法的魯棒性，獲得了較高的分割精度。
　　（3）為了進(jìn)一步提高分割區(qū)域的穩(wěn)定性

5、，并實(shí)現(xiàn)圖像的自動(dòng)分割，提出了一種無(wú)監(jiān)督圖割算法。通過(guò)圖像數(shù)據(jù)向高維特征空間的映射，擴(kuò)展了分段常數(shù)模型的實(shí)際使用范圍，實(shí)現(xiàn)了復(fù)雜圖像數(shù)據(jù)的線性可分，不僅提高了圖像區(qū)域的分割效果，還降低了計(jì)算量。同時(shí)，在平滑項(xiàng)中增加了邊緣梯度信息，提高了邊緣的劃分精度，減少了過(guò)分割的出現(xiàn)，并且采用多標(biāo)簽交換算法，通過(guò)迭代逼近能量函數(shù)最小值的方法，解決了包含多類標(biāo)簽的能量函數(shù)優(yōu)化問(wèn)題，得到圖像所有像素的區(qū)域標(biāo)簽的最優(yōu)分配結(jié)果。這種圖像分割方法具有較好的多區(qū)

6、域分割效果，符合人類視覺(jué)感知圖像的要求，并且無(wú)需預(yù)先設(shè)定區(qū)域標(biāo)簽類別的種子點(diǎn)像素，實(shí)現(xiàn)了計(jì)算機(jī)對(duì)圖像進(jìn)行多區(qū)域的自動(dòng)分割，取得了以語(yǔ)義理解為前提的圖像多區(qū)域分割的理想效果。
　　（4）針對(duì)單獨(dú)標(biāo)注像素會(huì)引起語(yǔ)義標(biāo)注結(jié)果不一致的問(wèn)題，充分利用像素之間存在的上下文信息，提出了一種融合多粒度上下文的條件隨機(jī)場(chǎng)模型（Multi-granular Context Conditional Random Field，MGCCRF）。通過(guò)構(gòu)造多粒

7、度鄰域集合，獲得了不同粒度的上下文窗口，為像素標(biāo)注提供不同尺度的上下文信息。在像素級(jí)圖像語(yǔ)義標(biāo)注的過(guò)程中，細(xì)粒度上下文信息通過(guò)描述近距離的鄰域位置之間的局部相互作用，用來(lái)保持目標(biāo)的精確邊界，生成連續(xù)的目標(biāo)表面；而粗粒度上下文信息則用來(lái)描述語(yǔ)義類別之間的空間共生關(guān)系，目的是提高圖像中目標(biāo)的識(shí)別率。該語(yǔ)義標(biāo)注模型既表征了語(yǔ)義標(biāo)簽在局部區(qū)域內(nèi)具有的傳遞特性，同時(shí)還融入了圖像中蘊(yùn)含的語(yǔ)義類別的共生關(guān)系，使得標(biāo)注模型融合了豐富的圖像信息，具有較高

8、的圖像標(biāo)注精確度。在模型訓(xùn)練過(guò)程中采用分支定界參數(shù)優(yōu)化算法與并行式分段相結(jié)合的訓(xùn)練方法，提高了模型的訓(xùn)練效率。
　　本文的創(chuàng)新性成果總結(jié)如下：
　　（1）提出了SFLCH，將顏色特征的模糊表征與空間分布信息相結(jié)合，并構(gòu)建了基于顏色復(fù)雜度的相似度量機(jī)制，提高了視覺(jué)特征的表述能力。
　?。?）提出了基于區(qū)域顯著色初始策略的空間FCM算法，改進(jìn)了聚類分割算法的初始化操作，算法抑制了噪聲對(duì)判定顯著色的干擾，融入了具有自適應(yīng)性的

9、空間信息，提高了圖像分割的準(zhǔn)確率。
　　（3）提出了無(wú)監(jiān)督圖割方法，該方法采用核函數(shù)對(duì)數(shù)據(jù)項(xiàng)進(jìn)行隱性的非線性映射，在平滑項(xiàng)中融入了邊緣梯度約束，既提高了復(fù)雜區(qū)域的分割效果，又減少了過(guò)分割現(xiàn)象。同時(shí)，采用無(wú)監(jiān)督方法設(shè)置初始參數(shù)，避免了交互操作，實(shí)現(xiàn)了圖像的自動(dòng)分割。
　?。?）提出了 MGCCRF，利用粒計(jì)算的粒化思想，擴(kuò)大了像素標(biāo)注模型中的上下文信息獲取范圍，提高了像素標(biāo)注的準(zhǔn)確率和目標(biāo)識(shí)別率。這一方法已申報(bào)國(guó)家發(fā)明專利“融