足球視頻場景分析與三維重建的關(guān)鍵技術(shù)研究.pdf

1、多媒體信息的爆炸式增長要求人們研究開發(fā)視頻檢索技術(shù)。近年來，以體育視頻內(nèi)容分析為主要目標的研究已經(jīng)成為熱門領(lǐng)域。這項研究主要為觀眾提供精彩摘要并以多種形式呈現(xiàn)給用戶。雖然經(jīng)過十余年的努力，這一領(lǐng)域已經(jīng)取得了長足進步，但當前取得的成績與人們的期望還有很大距離。
　　本文針對足球視頻場景分析與三維重建中的若干關(guān)鍵技術(shù)進行了比較深入的研究，旨在提高它們的魯棒性和可應(yīng)用性。文中工作集中在以下三個方面：1）自動的球場檢測算法，這項技術(shù)是場景

2、分析與三維重建工作中共用的技術(shù)；2）運動對象的檢測和跟蹤，在體育視頻中運動對象主要是指球員和球；3）從單視點廣播視頻中重建三維場景技術(shù)。本文的主要創(chuàng)新工作有：
　　1.本文提出了一種基于本征圖像的自動球場顏色檢測算法。作為體育視頻
　　分析研究中一項關(guān)鍵技術(shù)，球場檢測嚴重地受到陰影區(qū)域的影響，此算法可以有效地克服這一困難。算法首先自動地在色彩分布直方圖中檢測主顏色。因具有相似表面反射函數(shù)的像素值在正確的本征圖像投影方向投影后

3、，它們具有關(guān)于某一點對稱分布。依據(jù)此特性，算法用已檢測到的主顏色粗標定本征圖像的投影方向。在此方向的指導下，算法根據(jù)本征圖像的分布來判斷第二主顏色是否是球場顏色的。此外，當確定了球場中陰影區(qū)域和非陰影區(qū)域后，本文提出通過最大化二者本征圖像的分布相似度精細標定相機的本征圖像的投影方向。實驗表明此算法可以比較準確地檢測球場顏色，同時精度的本征圖像投影方向為在含有陰影區(qū)域的目標跟蹤提供了一種光照不變的表觀特征。
　　2.本文提出了一種自

4、適應(yīng)的球場檢測算法。針對廣播視頻流中的數(shù)據(jù)具有
　　數(shù)量大、噪聲多、同時來自多部相機的特點，在檢測到的球場顏色的基礎(chǔ)上，算法采用高斯混合模型對其建模，并且利用增量期望最大算法對模型參數(shù)進行在線估計。算法一方面提高了球場檢測的效果，另一方面減少訓練過程對數(shù)據(jù)存儲的開銷。實驗表明，由于增量學習方法不斷地強化模型的泛化能力，此算法取得了比單純的直方圖方法和一般的高斯混合模型方法更好的結(jié)果。
　　3.本文提出了一種順序數(shù)據(jù)關(guān)聯(lián)策略應(yīng)

5、用于多目標的跟蹤。多運動目標跟
　　蹤受到對象之間相互遮擋的困擾。因為比賽場地是平面，根據(jù)成像規(guī)律同一平面上物距大的目標的像位于物距小的目標的像的上部，此策略按照目標的像的底邊位置關(guān)系，從下到上依次關(guān)聯(lián)各個目標的觀測。與傳統(tǒng)的基于聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)方法相比，此策略大大減少了物距排列的搜索空間，提高了算法的效率，同時基本保證了基于此策略的數(shù)據(jù)關(guān)聯(lián)是貝葉斯意義下的最優(yōu)解。此外，本文提出一種最大化前景模板相似度同時最小化背景模板相似度的表

6、觀建模方法。這種方法在匹配目標時，同時考慮了目標背景的影響，從而有效地提高了跟蹤器的跟蹤性能。對于球的檢測和跟蹤，本文從實驗角度上回答了只有跟蹤和檢測有機地結(jié)合才能取得更好的性能。
　　4.本文提出了一種從單視廣播視頻中重建三維場景的方法。方法根據(jù)圖像
　　平面和場地平面的對應(yīng)關(guān)系，并利用相機的自標定方法聯(lián)合確定相機在場地中的位置；然后利用相機的位置、球的飛行平面、球的虛影之間的幾何關(guān)系，本文推導出球的三維位置估計公式。另外

7、，對于無法確定球的飛行平面的情況，本文提出一種基于物理限制的飛行平面預測算法。這種算法通過優(yōu)化一個新設(shè)計的耗費函數(shù)，使其在最小值時對應(yīng)于球的最合理的三維軌跡。此方法的優(yōu)點是可以估計飛行中的球的三維位置而無需參考已知高度的物體；應(yīng)用此法的限制條件少，其只要求相機位置是固定的。實驗表明，此三維重建方法取得了令人滿意的結(jié)果。
　　上述技術(shù)被應(yīng)用到足球視頻精彩檢測和精彩片斷的三維動畫生成原型系統(tǒng)中去，取得了令人滿意的效果。雖然以足球視頻為