基于Spark的數(shù)據(jù)分析建模工具的設(shè)計與實現(xiàn).pdf

1、大數(shù)據(jù)所蘊藏的巨大價值已經(jīng)引起了國內(nèi)外學(xué)術(shù)界、工業(yè)界及政府部門的廣泛關(guān)注，如何從大數(shù)據(jù)全壽命周期中獲取、存儲、處理、挖掘有效的信息是當(dāng)前學(xué)術(shù)界研究熱點問題。傳統(tǒng)的數(shù)據(jù)處理能力在大數(shù)據(jù)時代顯得捉襟見肘，已無法滿足日益復(fù)雜的數(shù)據(jù)分析需求。
　　大數(shù)據(jù)分析平臺是實現(xiàn)大數(shù)據(jù)挖掘業(yè)務(wù)的基礎(chǔ)，因此，本文首先研究了大數(shù)據(jù)分析平臺的整體框架。針對分布式異構(gòu)數(shù)據(jù)的管理和計算問題，本文研究了元數(shù)據(jù)管理方法，數(shù)據(jù)流轉(zhuǎn)模式和多種分類、聚類算法。在上述研究

2、的基礎(chǔ)上，提出了一種基于Spark的分布式數(shù)據(jù)分析建模工具，以期實現(xiàn)對海量數(shù)據(jù)的快速處理，以及大數(shù)據(jù)分析過程中數(shù)據(jù)建模的流程化。
　　結(jié)合大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析建模工具在功能、性能方面的需求，本文設(shè)計了統(tǒng)一的數(shù)據(jù)管理對象，給出了數(shù)據(jù)處理模塊中數(shù)據(jù)建模部分的詳細設(shè)計方案，實現(xiàn)了數(shù)據(jù)建模環(huán)節(jié)中的多類操作節(jié)點，以及對建模工具中多種預(yù)測模型的分類管理。最后，本文給出了系統(tǒng)部署方案與測試結(jié)果分析。目前，本系統(tǒng)正運行于配電網(wǎng)故障數(shù)量預(yù)測分析的