云計(jì)算環(huán)境下的協(xié)同過濾算法研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的發(fā)展，大量的信息數(shù)據(jù)在不斷產(chǎn)生。個性化推薦幫助用戶從海量數(shù)據(jù)中篩選出需求的數(shù)據(jù)，為了使用戶獲得更好的推薦體驗(yàn)，如何優(yōu)化推薦就成為推薦領(lǐng)域的研究熱點(diǎn)。協(xié)同過濾算法是推薦領(lǐng)域中常用的一種技術(shù)，它可以方便用戶獲得較精準(zhǔn)的個性化推薦結(jié)果。但由于推薦算法的數(shù)據(jù)稀疏性問題和擴(kuò)展性問題，導(dǎo)致協(xié)同過濾算法的推薦效果不佳以及算法在傳統(tǒng)單機(jī)上運(yùn)行困難。所以本文采用在云計(jì)算環(huán)境里，用一種新的混合推薦算法進(jìn)行解決。
　　在本文的混合協(xié)同過

2、濾算法中，本文對基于內(nèi)存的協(xié)同過濾算法提出改進(jìn)。首先是相似度的改進(jìn)，Pearson相關(guān)系數(shù)是傳統(tǒng)協(xié)同過濾算法中常用的一種相似度計(jì)算方法，但由于該方法存在著這樣的一個問題：當(dāng)共同評分項(xiàng)越小，則Pearson系數(shù)反而越大。針對這一問題，本文使用共同評分項(xiàng)目個數(shù)與最多的用戶評分項(xiàng)目的個數(shù)比值，對傳統(tǒng)的皮爾遜相關(guān)系數(shù)進(jìn)行加權(quán)，得到新的相似度計(jì)算公式。然后在本文算法中引進(jìn)參數(shù)θ。因在數(shù)據(jù)稀疏的情況下，最近鄰居集中會出現(xiàn)這樣一種情況：兩用戶或項(xiàng)目間

3、的共同評分項(xiàng)很少，且兩者中，一個的評分項(xiàng)個數(shù)遠(yuǎn)遠(yuǎn)大于共同評分項(xiàng)個數(shù)。這在推薦算法中，將導(dǎo)致預(yù)測出一些多余且不可靠的評分項(xiàng)。所以將共同評分個數(shù)與最多的評分項(xiàng)目個數(shù)的一個比值θ，作為判斷是否為最近鄰居。最后本文的混合協(xié)同過濾算法框架的設(shè)計(jì)，將最近鄰居個數(shù)作為判斷，是否把基于項(xiàng)目的推薦結(jié)果填充基于用戶的預(yù)測結(jié)果中。
　　此外，本文還實(shí)現(xiàn)了混合協(xié)同過濾算法分布式化。Hadoop云計(jì)算平臺是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，它具有

4、可靠的、高效的、可伸縮的特點(diǎn)。該Hadoop云計(jì)算平臺完全可以支撐推薦算法對海量數(shù)據(jù)的計(jì)算需求。但 Hadoop的MapReduce編程模型不同于以往其他的編程形式。所以本文將算法的分布式實(shí)現(xiàn)分解成一系列的MapReduce過程，具體分為數(shù)據(jù)集的預(yù)處理模塊、基于用戶的算法模塊和基于項(xiàng)目的算法模塊3部分。通過模塊的整合更好地實(shí)現(xiàn)混合協(xié)同過濾算法分布式化。
　　為了驗(yàn)證算法的推薦效果，本文將Grouplen提供的Movielens數(shù)據(jù)