選擇性貝葉斯分類算法研究.pdf

1、分類是模式識(shí)別、機(jī)器學(xué)習(xí)以及數(shù)據(jù)挖掘中一項(xiàng)基本而又重要的任務(wù)。在眾多的分類方法中，貝葉斯分類方法因建立在貝葉斯統(tǒng)計(jì)學(xué)和貝葉斯網(wǎng)絡(luò)基礎(chǔ)上，能夠有效地處理不完整數(shù)據(jù)，并且具有模型可解釋、精度高等優(yōu)點(diǎn)，而被認(rèn)為是最優(yōu)分類模型之一。尤其是樸素貝葉斯分類器，雖然結(jié)構(gòu)簡單，但在很多情況下卻具有相當(dāng)高的分類精度，可以達(dá)到甚至超過其它成熟算法如C4.5的分類精度，而且對(duì)噪聲數(shù)據(jù)具有很強(qiáng)的抗干擾能力。 自從樸素貝葉斯分類器提出以后，就被應(yīng)用到了眾

2、多領(lǐng)域中，其有效性已經(jīng)為實(shí)踐所證明。但是，隨著應(yīng)用領(lǐng)域的擴(kuò)大，該種分類器的不足也更加明顯。樸素貝葉斯分類器要以一個(gè)很強(qiáng)的條件獨(dú)立性假設(shè)為前提，即假設(shè)在各個(gè)類中，每個(gè)屬性變量(也稱作特征)的概率分布獨(dú)立于其它屬性變量的概率分布。然而，實(shí)際中的數(shù)據(jù)一般難以滿足這一假設(shè)前提。如果不滿足這一前提條件，分類器的分類效果往往會(huì)明顯下降。彌補(bǔ)這一不足的一種有效的方法是利用屬性選擇去除數(shù)據(jù)集中的冗余屬性，使選擇出的屬性盡可能地滿足條件獨(dú)立性假設(shè)。然后，

3、在選擇出的屬性子集上構(gòu)建貝葉斯分類器，即選擇性貝葉斯分類器。目前已有不少學(xué)者對(duì)選擇性貝葉斯分類器進(jìn)行過研究，并給出了一些有效的算法，但這些算法大都是用于完整數(shù)據(jù)和低維數(shù)據(jù)。雖然實(shí)際中不完整數(shù)據(jù)大量存在，并且這些數(shù)據(jù)大都包含著嚴(yán)重影響分類效果和效率的冗余屬性和無關(guān)屬性，然而，由于處理不完整數(shù)據(jù)的復(fù)雜性，目前用于不完整數(shù)據(jù)的選擇性分類算法卻很少見。因此，充分利用貝葉斯分類方法能夠有效地處理不完整數(shù)據(jù)的優(yōu)勢(shì)，來構(gòu)造用于不完整數(shù)據(jù)的選擇性貝葉斯

4、分類算法是一項(xiàng)重要的研究課題，這正是本文主要研究內(nèi)容之一； 另外，隨著現(xiàn)代信息技術(shù)的不斷發(fā)展，大量的高維數(shù)據(jù)不斷涌現(xiàn)，而樸素貝葉斯簡單高效，適于處理高維數(shù)據(jù)，同時(shí)又對(duì)屬性選擇很敏感，因此對(duì)用于高維數(shù)據(jù)的選擇性貝葉斯分類算法的研究具有重要的意義，也是本文的另一項(xiàng)主要研究內(nèi)容。 本文的主要貢獻(xiàn)如下： (1)通過分析以往在分類過程中對(duì)不完整數(shù)據(jù)的處理方法，給出了一種基于分布的不完整數(shù)據(jù)分類算法DBCI(Distribu

5、tion-based Bayesian Classifiers for Incomplete data)。該算法在訓(xùn)練過程中將缺失值的頻數(shù)合理地分配到其它觀測(cè)值的頻數(shù)中。因此，不完整數(shù)據(jù)集中所包含的信息可以得到充分利用。該算法與分類效果和效率都很突出的不完整數(shù)據(jù)分類器RBC(Robust Bayes Classifiers)相比，其分類效果與后者相當(dāng)，而算法的效率明顯高于后者。 (2)雖然不完整數(shù)據(jù)集中也通常包含著大量影響分類效

6、果和效率的冗余屬性或無關(guān)屬性，但是，目前用于不完整數(shù)據(jù)的選擇性分類器卻極為少見。針對(duì)這一問題，基于包裝法(wrappers)給出了兩個(gè)有效的選擇性不完整數(shù)據(jù)分類器。首先，通過分析以往的不完整數(shù)據(jù)分類算法，構(gòu)造了選擇性不完整數(shù)據(jù)分類器SRBC(Selective Robust Bayes Classifiers)。與高效的RBC以及DBCI相比，SRBC不僅能獲得顯著更高的分類準(zhǔn)確率，同時(shí)還能大幅度地降低冗余屬性和無關(guān)屬性的數(shù)目。然后，利

7、用提出的更加高效的DBCI分類器構(gòu)造了選擇性分類器SDBC(Selective Distribution-based Bayesian Classifiers for incomplete data)。與SRBC相比，SDBC的分類準(zhǔn)確率和效率都有明顯提高。 (3)為進(jìn)一步提高上述SRBC和SDBC的效率，基于混合法構(gòu)造了三個(gè)更加高效的選擇性不完整數(shù)據(jù)分類器。首先，利用一個(gè)簡化的增益率計(jì)算式和SRBC構(gòu)造了分類器SRBCBG(S

8、elective Robust Bayes Classifiers Based on Gain ratio)。與此同時(shí)，利用用于不完整數(shù)據(jù)的卡方統(tǒng)計(jì)量和SRBC構(gòu)造了分類器CBSRBC(Chi-square-Based Selective Robust Bayes Classifiers)。與SRBC和SDBC相比，SRBCBG和CBSRBC具有更高的分類效率和更好的分類效果。然后，為了構(gòu)造對(duì)大型不完整數(shù)據(jù)集具有更好的擴(kuò)展性的選擇性貝葉