基于Hadoop平臺的混合分類算法研究.pdf

1、分類算法是數(shù)據(jù)挖掘領(lǐng)域中很重要的數(shù)據(jù)處理方法，但傳統(tǒng)分類算法都具有其自身的缺陷： ID3決策樹構(gòu)造簡單，但它無法處理具有缺失屬性值的數(shù)據(jù)集；C4.5決策樹改善了 ID3存在的問題，但它在構(gòu)造算法的過程中需要多次掃描數(shù)據(jù)集，不適合處理大數(shù)據(jù)樣本；樸素貝葉斯分類法理論基礎(chǔ)牢固，但它對數(shù)據(jù)集進行了獨立性假設(shè)，導(dǎo)致分類結(jié)果發(fā)生偏差等等。隨著“大數(shù)據(jù)”時代的來臨，數(shù)據(jù)集中的數(shù)據(jù)量日益膨脹，傳統(tǒng)分類算法處理數(shù)據(jù)的效率急劇下降。對此，現(xiàn)有大量學(xué)者對傳

2、統(tǒng)分類方法進行改進來提高分類效率。主要可以分為改進算法本身缺陷與對傳統(tǒng)算法進行并行化兩個方向。
　　本文先通過構(gòu)造自適應(yīng)貝葉斯決策樹混合分類算法（Adaptive Bayes Decision Tree，簡稱 A-BDT算法）來解決傳統(tǒng)分類方法在對大數(shù)據(jù)集進行分類時遇到的問題，再將A-BDT算法與 Hadoop云計算平臺進行結(jié)合來提高算法運行效率。具體研究工作包括：
　?。?）構(gòu)造A-BDT算法：本文先對樸素貝葉斯算法進行改

3、進，構(gòu)造自適應(yīng)貝葉斯算法（Adaptive Bayes，簡稱A-Bayes算法），通過對數(shù)據(jù)集的強關(guān)聯(lián)性假設(shè)，在算法公式中引進修正因子，從而減少獨立性假設(shè)對分類結(jié)果的負(fù)面影響。再將它與ID3決策樹進行結(jié)合，構(gòu)造A-BDT混合分類算法。其中A-Bayes算法完成數(shù)據(jù)集的預(yù)處理工作，補足數(shù)據(jù)集中屬性值缺失的數(shù)據(jù)，然后使用ID3決策樹對處理過后的數(shù)據(jù)集進行分類，從而改善兩種分類算法各自的缺陷。實驗結(jié)果表明，相對于其他傳統(tǒng)分類算法，A-BDT算

4、法具有較好的準(zhǔn)確率、召回率，耗時也較短。
　?。?）A-BDT算法的Hadoop并行化：面對具有海量數(shù)據(jù)的數(shù)據(jù)集，傳統(tǒng)分類算法在串行環(huán)境下很難在短時間內(nèi)給出分類結(jié)果，本文把A-BDT算法與Hadoop平臺進行結(jié)合，利用 MapReduce框架對數(shù)據(jù)預(yù)處理、數(shù)據(jù)集分類等過程分別進行任務(wù)分割，把原本串行環(huán)境下龐大的任務(wù)分成若干個小任務(wù)，分別交由若干個Map過程進行處理，處理結(jié)果通過若干個Reduce過程進行合并，從而大大提高分類效率。