決策樹分類器算法的研究.pdf

1、在數(shù)據(jù)挖掘和機器學(xué)習(xí)領(lǐng)域中分類是一項非常重要的基本任務(wù)。它能對大量有關(guān)數(shù)據(jù)進行學(xué)習(xí)和分析，并建立相應(yīng)問題領(lǐng)域中的分類模型。該技術(shù)在科學(xué)、通訊、金融等領(lǐng)域均有著廣泛的應(yīng)用。決策樹分類方法作為分類知識發(fā)現(xiàn)的一種非常重要方法，它具有良好的可解釋性、分類速度快、分類性能優(yōu)越，因此，研究決策樹分類器算法逐漸成為一個活躍的研究領(lǐng)域。 最為典型的決策樹分類器學(xué)習(xí)算法是ID3算法，它采用自頂向下分而治之的策略，利用信息增益的標準選擇分裂屬性，能

2、保證構(gòu)造出一棵簡單的樹。但是它只能處理枚舉型屬性，不能解決過適應(yīng)問題。C4.5算法很好地擴展了ID3算法，它將分類領(lǐng)域從枚舉型屬性擴展到連續(xù)值屬性，同時采用剪枝策略很好地解決了過適應(yīng)問題。目前它已成為現(xiàn)在公認的性能較優(yōu)的決策樹分類器算法。懶惰式?jīng)Q策樹也是一種決策樹分類器，它采取懶惰式學(xué)習(xí)策略，學(xué)習(xí)過程被推遲到分類一個給定測試實例時才進行。它從概念上為每一個測試實例建立一棵最優(yōu)決策樹。在小的數(shù)據(jù)集合上，它的分類精確度非常高。但是在某些大的

3、數(shù)據(jù)集合上，特別是屬性數(shù)目非常多的數(shù)據(jù)集合上，它的分類速度慢，內(nèi)存消耗大。 本文在深入分析ID3算法、C4.5算法、懶惰式?jīng)Q策樹分類器算法、樸素貝葉斯分類器算法等多種分類器算法的基礎(chǔ)上，進一步提出了急切式和懶惰式學(xué)習(xí)策略相結(jié)合的決策樹分類模型、競爭選擇分裂屬性的決策樹分類模型、以及基于距離和權(quán)重的懶惰式分類模型等3種新的決策樹分類器模型。本文將新的分類器算法與ID3算法、C4.5算法、樸素貝葉斯分類器算法進行了比較，通過大量實驗