基于Hadoop平臺的數據挖掘算法研究.pdf

1、數據挖掘是針對大量的數據進行分析，以得出有價值信息的過程。隨著社會信息化程度越來越高，移動網絡設備驟增，產生了大量的數據信息，如何從海量的數據中挖掘出有價值的知識，是數據挖掘技術所面臨的主要問題之一。傳統的數據挖掘很難滿足現階段大數據處理效率的要求，以Hadoop平臺為代表的云計算技術應用解決了大數據挖掘的瓶頸。但是基于Hadoop平臺的數據挖掘算法并行化研究仍然存在一些亟待解決的問題，例如，如何減少I/O損耗、如何設計更優(yōu)的MapRe

2、duce任務、如何降低任務同步和通信的代價等等。
　　為了解決這些問題，本文主要進行了以下研究工作：
　　(1)本文分析了傳統的KNN算法的執(zhí)行流程，將其傳統流程中的向量映射、計算距離、尋找K個相鄰向量、確定類別的四個步驟，分別進行了MapReduce改造。在此基礎之上，提出了KNN算法基于Hadoop平臺的并行化移植方案。而后對于方案中Job任務數過多，以及運算偽同步的缺陷進行了改進，最終提出了改進的并行化方案。改進的KN

3、N算法并行化方案將MapReduce任務的個數由基本移植方案中的4次降低為2次，并利用了MapReduce自動排序的特性，提高了算法的執(zhí)行效率；
　　(2)本文分析了傳統Apriori算法的執(zhí)行流程，將其傳統流程中的剪枝步、連接步、求取強關聯規(guī)則以及相關程序控制等步驟，分別改造成合理的MapReduce模式，在此基礎之上。提出了Apriori算法基于Hadoop平臺的并行化移植方案。而后對于方案中的Job任務數過多，迭代流程復雜等

4、缺陷進行了改進，最終提出了改進的并行化方案。改進的Apriori算法并行化方案擯棄了剪枝優(yōu)化迭代遍歷的傳統工作模式，并使得事務數據庫的掃描次數由傳統的不確定k（k>1）次減少至固定的2次；
　　(3)為驗證本文提出方案的合理性和正確性，本文搭建了Hadoop云平臺，并在此環(huán)境中實現了KNN、Apriori算法的改進方案。
　　對于改進的KNN算法并行化方案，實驗觀察了在不同計算節(jié)點數的情況下該算法的性能表現，最終證明了并行化