面向大數(shù)據(jù)的模型解釋系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、隨著移動(dòng)設(shè)備、通信技術(shù)和信息技術(shù)的快速發(fā)展，人類已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，各行各業(yè)日均產(chǎn)生的數(shù)據(jù)從GB、TB一路發(fā)展到PB級(jí)，各種用于處理大數(shù)據(jù)的工具也隨之出現(xiàn)，如Hadoop，Hive，Pig，Sqoop等Hadoop家族工具，或類MapReduce并行計(jì)算引擎如Spark等等。在實(shí)際的大數(shù)據(jù)分析中，用戶常常將多種工具組合起來(lái)，以大數(shù)據(jù)工作流的形式使用。
　　但是上述工具的專業(yè)性較強(qiáng)，普通用戶使用前需要對(duì)其內(nèi)部工作原理有較好的理解，使

2、用門檻較高，由此導(dǎo)致專業(yè)用戶開發(fā)出的大數(shù)據(jù)處理流程復(fù)用性低。本文針對(duì)這一情況，在大數(shù)據(jù)處理流程模型化的思想下，提出了一個(gè)面向大數(shù)據(jù)的模型解釋系統(tǒng)。
　　課題首先解釋了將大數(shù)據(jù)處理工作流模型化的思想，給出了大數(shù)據(jù)模型元數(shù)據(jù)的語(yǔ)言描述規(guī)范。在大數(shù)據(jù)模型的運(yùn)行承載形式為Oozie工作流的情況下，為滿足大數(shù)據(jù)處理節(jié)點(diǎn)類型不斷擴(kuò)展的需要，本文利用規(guī)則引擎邏輯與數(shù)據(jù)分離的特點(diǎn)，提出了大數(shù)據(jù)模型基于規(guī)則引擎到Oozie工作流的解釋機(jī)制，并給出了

3、大數(shù)據(jù)模型解釋規(guī)則的描述。為了加快規(guī)則匹配速度，本文在深入分析規(guī)則引擎運(yùn)行原理和Rete網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，結(jié)合大數(shù)據(jù)模型解釋規(guī)則的實(shí)際特點(diǎn)，提出了基于約束頻度的Rete網(wǎng)絡(luò)優(yōu)化構(gòu)建策略，通過(guò)根據(jù)約束頻度對(duì)規(guī)則模式的約束重排序，構(gòu)建出節(jié)點(diǎn)共享程度更高的Rete網(wǎng)絡(luò)。
　　為了滿足模型復(fù)用的需要，本文分析了模型復(fù)用在設(shè)計(jì)、運(yùn)行階段的實(shí)現(xiàn)方式、現(xiàn)有實(shí)現(xiàn)方式的不足，然后提出了基于模型復(fù)制的復(fù)用模型解釋方法。為了加快復(fù)用模型解釋速度，本文從