基于積分算子譜分析的核方法模型選擇.pdf

1、核方法模型選擇是核方法理論研究和實際應(yīng)用的關(guān)鍵問題。已有的核方法模型選擇工作缺乏對再生核希爾伯特空間(RKHS)的精確刻畫和描述，核方法模型選擇缺乏可解釋性；核方法模型選擇準(zhǔn)則大多基于模型復(fù)雜度，但模型復(fù)雜度難以表示與度量；缺乏理論堅實且實現(xiàn)簡單的核方法模型選擇準(zhǔn)則和算法。
　　積分算子包含核函數(shù)在輸入空間上的全部信息，是當(dāng)前核方法學(xué)習(xí)理論研究的重要工具。由于積分算子可由譜分解線性表征，因此本文基于積分算子譜分析，深入RKHS的顯

2、式結(jié)構(gòu)和積分算子理論本源，研究核方法模型選擇理論與方法。具體內(nèi)容如下：
　　1.提出積分算子空間顯式構(gòu)造方法。提出兩種RKHS顯式構(gòu)造方法：框架核RKHS構(gòu)造方法和近似高斯核RKHS構(gòu)造方法。首先，基于框架理論和泰勒展開，給出框架核和近似高斯核構(gòu)造方法。然后，顯式描述框架核和近似高斯核對應(yīng)積分算子的特征值與特征函數(shù)，并構(gòu)造其對應(yīng)的RKHS和特征映射，由此精確刻畫核方法假設(shè)空間的結(jié)構(gòu)，增強核方法的可解釋性。
　　2.提出譜模型

3、選擇泛化理論。定義兩種新的模型復(fù)雜度：譜穩(wěn)定性和譜比率，并利用所提模型復(fù)雜度建立泛化誤差界。具體地，在顯式積分算子空間中，研究譜穩(wěn)定性對核學(xué)習(xí)算法輸出假設(shè)的影響，進而建立基于譜穩(wěn)定性的泛化誤差界；刻畫譜比率與局部Rademacher復(fù)雜度的關(guān)系，建立收斂率可達O(1/n)的泛化誤差界。
　　3.提出譜模型選擇準(zhǔn)則和算法?；谧V模型選擇泛化誤差理論，通過最小化泛化誤差理論界，給出譜穩(wěn)定性和譜比率模型選擇準(zhǔn)則。進一步，將譜模型復(fù)雜度融